Анализ данных с помощью pandas. Часть 5: ищем самый снежный месяц
Мы уже видели, что pandas хорошо умеет обращаться с датами. Но он также хорошо умеет работать со строками! Возьмём наши данные из предыдущей части.
%matplotlib inline
import pandas as pd
import matplotlib.pyplot as plt
import numpy as np
pd.options.display.max_rows = 7
plt.style.use('ggplot')
plt.rcParams['figure.figsize'] = (15, 3)
plt.rcParams['font.family'] = 'sans-serif'
weather_2012 = pd.read_csv('data/weather_2012.csv', parse_dates=True, index_col='Date/Time')
weather_2012[:5]
Операции над строками в pandas
Мы видим, что столбец 'Weather' содержит текстовое описание погоды за час. Предположим, что снежная погода в описании содержит "Snow".
pandas позволяет векторизовать операции над строками, позволяя эффективно обрабатывать столбцы. В документации есть много хороших примеров.
weather_description = weather_2012['Weather']
is_snowing = weather_description.str.contains('Snow')
Этот код даёт нам бинарный вектор, который не очень красиво выглядит, поэтому мы построим график.
is_snowing[:5]
is_snowing.plot()
Находим снежные месяцы
Если мы хотим медианную температуру за каждый месяц, нужно использовать метод resample()
, как в примере:
weather_2012['Temp (C)'].resample('M').median().plot(kind='bar')
Внезапно, июль и август оказались самыми тёплыми.
Что касается снега, можно считать, что мы имеем дело с векторами из нулей и единиц, вместо True
и False
:
is_snowing.astype(int)[:10]
а затем использовать resample
, чтобы найти процент времени, когда шёл снег.
is_snowing.astype(int).resample('M').mean()
is_snowing.astype(int).resample('M').mean().plot(kind='bar')
Теперь мы знаем! В 2012, декабрь был самым снежным месяцем.
Строим графики температур и снежности вместе
Также можно объединить эти 2 статистики в один DataFrame и построить их графики вместе:
temperature = weather_2012['Temp (C)'].resample('M').median()
is_snowing = weather_2012['Weather'].str.contains('Snow')
snowiness = is_snowing.astype(int).resample('M').mean()
# Name the columns
temperature.name = "Temperature"
snowiness.name = "Snowiness"
Снова используем concat
, чтобы объединить колонки в один DataFrame.
stats = pd.concat([temperature, snowiness], axis=1)
stats
stats.plot(kind='bar')
Ох, это не работает, потому что масштаб выбран неправильно. Лучше построим их на двух разных графиках:
stats.plot(kind='bar', subplots=True, figsize=(15, 10))