Анализ данных с помощью pandas. Часть 8: работа с данными из базы данных SQL
До этого момента, мы получали данные только из csv файлов. Это довольно распространённый способ сохранения данных, но далеко не единственный! Pandas может работать с данными из HTML, JSON, SQL, Excel (!!!), HDF5, Stata, и некоторых других вещей. В этой части мы поговорим о работе с данными из баз данных SQL.
import pandas as pd
import sqlite3
Чтение из SQL баз данных
Загрузить данные из SQL базы можно с помощью функции pd.read_sql
. read_sql
автоматически преобразует столбцы SQL в столбцы DataFrame.
read_sql
принимает 2 аргумента: запрос SELECT
, и connection. Это здорово, так как это означает, что можно читать из любого вида базы данных - неважно, MySQL, SQLite, PostgreSQL, или другая.
В этом примере мы читаем из базы SQLite, но другие читаются точно также. Файл, с которым мы будем работать.
con = sqlite3.connect("data/weather_2012.sqlite")
df = pd.read_sql("SELECT * from weather_2012 LIMIT 3", con)
df
read_sql
не устанавливает первичный ключ (id
) в качестве индекса. Можно это сделать вручную, добавив аргумент index_col
к read_sql
.
Если вы много использовали read_csv
, вы могли заметить, что у него также есть аргумент index_col
. И ведёт он себя точно так же.
df = pd.read_sql("SELECT * from weather_2012 LIMIT 3", con, index_col='id')
df
Если вы хотите, чтобы dataframe был индексирован несколькими столбцами, в index_col
можно указать их список:
df = pd.read_sql("SELECT * from weather_2012 LIMIT 3", con,
index_col=['id', 'date_time'])
df
Запись в базу
Запись производится с помощью метода to_sql
(по аналогии с CSV):
weather_df = pd.read_csv('data/weather_2012.csv')
con = sqlite3.connect("data/test_db.sqlite")
con.execute("DROP TABLE IF EXISTS weather_2012")
weather_df.to_sql("weather_2012", con)
Теперь мы можем загрузить записанные данные:
con = sqlite3.connect("data/test_db.sqlite")
df = pd.read_sql("SELECT * from weather_2012 LIMIT 3", con)
df
Главное преимущество хранения данных в базе в том, что можно напрямую делать SQL запросы. Это особенно хорошо, если SQL для вас более родной язык. Например, можно отсортировать по колонке 'Weather' с помощью лишь SQL:
con = sqlite3.connect("data/test_db.sqlite")
df = pd.read_sql("SELECT * from weather_2012 ORDER BY Weather LIMIT 3", con)
df
Другие базы данных
Для подключения к MySQL:
Чтобы это работало, у вас на машине должна быть установлена соответствующая база данных
import MySQLdb
con = MySQLdb.connect(host="localhost", db="test")
PostgreSQL:
import psycopg2
con = psycopg2.connect(host="localhost")