3時間毎の天気予報を用いたシンプルな線形回帰モデルの構築

import pandas as pd
import numpy as np
import datetime as dt
from sklearn import linear_model

# 各データ期間のタイムスタンプを作成
train_rng = pd.date_range("201201010000", "201512312355", freq="10T") # 学習期間：10分間隔
test_rng = pd.date_range("201601010000", "201703312330", freq="30T")  # 評価期間：30分間隔
total_rng = pd.date_range("201201010000", "201703312330", freq="30T") # 学習＋評価期間：30分間隔

# 学習データの読み込み
train = pd.read_table("data/train_kwh.tsv", sep="\t", index_col=0)

# 処理しやすいように、学習データのインデックスをタイムスタンプ型に置き換える
train.index = train_rng

# 評価期間の間隔30分に合わせて、発電量を30分値に集計
train = train.groupby(pd.Grouper(freq="30T")).sum()

train.head()

# 学習＋評価期間の日時情報から月と時間の情報を抜き出しリストに格納
months = [x.month for x in total_rng]
hours = [x.hour for x in total_rng]

# 気象予報データを読み込み
ka_forecast = pd.read_table("data/forecast_kanagawa.tsv", sep="\t", index_col=0, parse_dates=True)  # 神奈川
ya_forecast = pd.read_table("data/forecast_yamanashi.tsv", sep="\t", index_col=0, parse_dates=True) # 山梨

# 気象予報データから3時間毎天気予報("we_"で始まるカラム)のみを抜き出す
ka_weather = ka_forecast.loc[:, ka_forecast.columns.str.startswith("we_")]
ya_weather = ya_forecast.loc[:, ya_forecast.columns.str.startswith("we_")]

# 横並びの3時間毎天気予報を1次元配列に変換
ka_weather = ka_weather.values.flatten()
ya_weather = ya_weather.values.flatten()

# 予測は30分単位ですが3時間は全て同じ天気と仮定し、間隔を合わせるために3時間毎天気予報に6を乗じる（3時間=30分×6）
ka_weather = np.repeat(ka_weather, 6)
ya_weather = np.repeat(ya_weather, 6)

# 月と時間、天気情報をデータフレームに変換
ka_df = pd.DataFrame({"m":months, "h":hours, "weather":ka_weather}, dtype="str", index=total_rng)
ya_df = pd.DataFrame({"m":months, "h":hours, "weather":ya_weather}, dtype="str", index=total_rng)

# データフレームのカテゴリカル変数をダミー化して特徴量を作成 
ka_X = pd.get_dummies(ka_df, drop_first = True)
ya_X = pd.get_dummies(ya_df, drop_first = True)

ka_X.head()

# 発電所毎に、欠損レコードを除いた発電量を抜き出し、それを学習用の目的変数とする
train01_index = train[train["SOLA01"].notnull()].index # 浮島発電所
train02_index = train[train["SOLA02"].notnull()].index # 扇島発電所
train03_index = train[train["SOLA03"].notnull()].index # 米倉山発電所
train01_y = train.loc[train01_index]["SOLA01"]
train02_y = train.loc[train02_index]["SOLA02"]
train03_y = train.loc[train03_index]["SOLA03"]

# 発電所毎に、欠損レコードを除いた特徴量を抜き出し、それを学習用の説明変数とする（浮島と扇島は神奈川の天気予報、米倉山は山梨の天気予報を適用）
train01_X = ka_X.loc[train01_index]
train02_X = ka_X.loc[train02_index]
train03_X = ya_X.loc[train03_index]

# 発電所毎に、評価用の説明変数を切り出す
test01_X = ka_X["2016":]
test02_X = ka_X["2016":]
test03_X = ya_X["2016":]

# 線形回帰モデルのインスタンス作成
reg01 = linear_model.LinearRegression()
reg02 = linear_model.LinearRegression()
reg03 = linear_model.LinearRegression()

# 学習データをフィッティング
reg01.fit(train01_X, train01_y)
reg02.fit(train02_X, train02_y)
reg03.fit(train03_X, train03_y)

# 評価期間の発電量の予測
pred01 = reg01.predict(test01_X)
pred02 = reg02.predict(test02_X)
pred03 = reg03.predict(test03_X)

# 発電量は0以上のため、負の値は0となるよう予測値を補正
pred01[pred01 < 0] = 0
pred02[pred02 < 0] = 0
pred03[pred03 < 0] = 0

# タイムスタンプ型の日付を、応募ファイルのフォーマットに合わせて、yyyymmddhhmmの数値且つ時刻が0030-2400で表現されるよう変換
test_rng = test_rng.strftime("%Y%m%d%H%M").astype(np.int64)
test_rng = [x+30 if x%100==0 else x+70 for x in test_rng]

# 応募ファイルを作成し、ファイル出力
submit = pd.DataFrame({"SOLA01":pred01, "SOLA02":pred02, "SOLA03":pred03}, index=test_rng)
submit.to_csv("submit_file.tsv", sep="\t", header=None)