【やさしい】解説!!「Kaggleを始める入門コース」【2章機械学習の進め方/ベースライン作成担当】

こんにちはヤク学長です。

本記事の目的は、「簡単にKaggleを始める」ことを目的としています。

【本記事のもくじ】

まず、「Kaggle」に真剣に取り組むための概要を解説します。
下記の方法で、簡単に概要を抑えることができます。

• Kaggleはアジャイル型が基本
• 分析プロセスの作成
• １．分析設計
• ２．データ前処理
• ３．特徴量生成
• ４．データセットの作成
• ５．バリデーション設計
• ６．モデル学習
• ７．モデル推論

それでは、上から順番に見ていきます。
なお、本上記の方法を抑えれば成果が出ます。

・Kaggleを使って、必要な基礎スキルをスムーズに身につけ効率的に学ぶための記事です。

記事の内容は「転載 & 引用OK」問題ありません。

分析プロセスの作成

分析プロセスとタスクのマトリックスの基本構成を記します

このマトリックスは、機械学習やデータ分析プロジェクトを進める際に、各プロセスで行うべきタスクを整理し、進捗管理を容易にするために使用できます。

このマトリックスを3人で進める前提で進めていきます。

• ①ベースライン作成担当
• ②特徴量エンジニアリング
• ③モデルチューニング

今回は

①ベースライン作成担当

の工程を見ていきます。

１．分析設計

分析設計の各タスクについて詳しく説明します。

1. 目的の定義:
   • データ分析プロジェクトの最初のステップは、プロジェクトの目的を明確に定義することです。目的は、ビジネス上の課題や問題を解決するためのガイドラインとなります。明確な目標を持つことで、適切な分析手法や評価指標を選択しやすくなります。
2. 問題の理解:
   • 問題の理解では、分析プロジェクトで扱う問題の背景や文脈を把握し、関連するデータや変数、制約条件などを明らかにします。これにより、分析プロジェクトが適切な方向に進むことができます。
3. メソッドの選択:
   • 問題の性質に応じて、適切な分析手法を選択します。例えば、予測問題では回帰分析や機械学習アルゴリズムを使用し、クラスタリング問題では階層的クラスタリングやK-meansクラスタリングを適用します。また、時系列データやテキストデータなどの特殊なデータタイプに対応する手法も選択することができます。
4. 評価指標の決定:
   • 分析プロジェクトの成果を評価するための指標を決定します。指標は、モデルの性能や分析結果の有用性を定量的に表すもので、プロジェクトの目標達成に役立ちます。例えば、分類問題では正解率やF1スコア、回帰問題では平均二乗誤差(MSE)や決定係数(R^2)が用いられます。

代表的な評価指標のマトリックスです。タスク別に分類し、それぞれの評価指標をリストアップしています。

このマトリックスは、機械学習やデータ分析プロジェクトで適切な評価指標を選択する際に参考にできます。プロジェクトの目的やデータの性質に応じて、最も適切な評価指標を選択することが重要です。

分析設計では、これらのタスクを総合的に検討し、プロジェクトの全体像を描きます。適切な分析設計を行うことで、プロジェクトがスムーズに進行し、期待される成果が得られる可能性が高まります。

２．データ前処理

ファイルの確認

Kaggleで提供されているファイルをpandasで読み込む方法は、ファイルの形式によって異なります。以下では、Excelファイル、タブ区切りファイル、Shift JIS形式のCSVファイルの読み込み方法について説明します。

• Excelファイルの読み込み
  Excelファイルを読み込むには、pandasのread_excel()関数を使用します。以下は、Excelファイルdata.xlsxを読み込む例です。

import pandas as pd

df = pd.read_excel('data.xlsx')

• タブ区切りファイルの読み込み
  タブ区切りファイルを読み込むには、pandasのread_csv()関数を使用します。sep引数にタブ文字\tを指定することで、タブ区切りファイルを読み込むことができます。以下は、タブ区切りファイルdata.tsvを読み込む例です。

import pandas as pd

df = pd.read_csv('data.tsv', sep='\t')

• Shift JIS形式のCSVファイルの読み込み
  Shift JIS形式のCSVファイルを読み込むには、pandasのread_csv()関数を使用します。encoding引数にshift_jisを指定することで、Shift JIS形式のCSVファイルを読み込むことができます。以下は、Shift JIS形式のCSVファイルdata.csvを読み込む例です。

import pandas as pd

df = pd.read_csv('data.csv', encoding='shift_jis')

以上のように、pandasを使用してExcelファイル、タブ区切りファイル、Shift JIS形式のCSVファイルを読み込むことができます。

データの確認（簡易）

import pandas as pd

df = pd.read_csv('data.csv', encoding='shift_jis')
print(df.shape)

import pandas as pd

df = pd.read_csv('data.csv', encoding='shift_jis')
print(len(df))

import pandas as pd

df = pd.read_csv('data.csv', encoding='shift_jis')
print(df.info())

import pandas as pd

df = pd.read_csv('data.csv', encoding='shift_jis')
df['column1'] = df['column1'].astype(int)

import pandas as pd

df = pd.read_csv('data.csv', encoding='shift_jis')
print(df.isnull())

出力結果は、データフレーム内の各セルに対して欠損値であればTrue、そうでなければFalseが表示されます。欠損値であればTrue、そうでなければFalseが表示されます。

欠損値を含む行数や列数を確認するには、isnull()メソッドにsum()メソッドを連鎖して使用します。以下は、DataFrameオブジェクトdf内の欠損値を含む行数と列数を確認する例です。

import pandas as pd

df = pd.read_csv('data.csv', encoding='shift_jis')
print(df.isnull().sum())

出力結果は、各カラムに対して欠損値を含む行数が表示されます。たとえば、column1とcolumn2という2つのカラムがあり、column1に3つ、column2に5つの欠損値が含まれている場合、以下のように出力されます。

column1 3
column2 5
dtype: int64

欠損値を含む行数や列数が多い場合、欠損値の扱い方によっては、予測精度に大きな影響を与える可能性があるため、適切な処理が必要です。

データの確認（詳細）

【やさしい】解説!!「Kaggleを始める入門コース」【3章機械学習の進め方/特徴量エンジニアリング作成担当】を参照

３．特徴量生成

【やさしい】解説!!「Kaggleを始める入門コース」【3章機械学習の進め方/特徴量エンジニアリング作成担当】を参照

４．データセットの作成

訓練データ/テストデータ（および検証データ）の分割

機械学習モデルを訓練する場合、データセットを訓練用とテスト用に分割することが一般的です。これは、訓練用データを使用してモデルを学習し、テスト用データを使用してモデルの予測性能を評価するためです。

一般的に、データセット全体のうち、訓練用データの割合は60〜80％、テスト用データの割合は20〜40％が推奨されています。ただし、データセットのサイズや問題の性質によっては、この割合を調整する必要がある場合もあります。

また、機械学習モデルのパラメータを調整するために、訓練用データを更に訓練用と検証用に分割することもあります。この場合、訓練用データの一部を検証用データとして分割するため、通常はより小さな割合が使用されます（例えば、70％の訓練用データ、20％の検証用データ、10％のテスト用データなど）。

from sklearn.model_selection import train_test_split

# データセットを読み込む
X, y = load_data()

# 訓練用データとテスト用データに分割する（テストデータは20％）
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 検証用データを含めて訓練用データを更に分割する場合
X_train, X_val, y_train, y_val = train_test_split(X_train, y_train, test_size=0.2, random_state=42)

５．バリデーション設計

学習データと検証データの分割方法は、データの性質や目的に応じて異なります。以下に、例としてそれぞれの場合における分割方法を示します。

• ２値分類モデルで不均衡データの場合
  不均衡データの場合、例えば陽性データが極端に少ない場合には、単純にランダムに分割してしまうと、学習データに陽性データが含まれず、モデルが不適切になってしまうことがあります。そのため、分割方法に工夫が必要です。以下に、代表的な方法を示します。
  • StratifiedKFold：層化サンプリングによるk-fold交差検証。陽性・陰性それぞれの比率を保ったまま、学習データと検証データを分割します。
  • StratifiedShuffleSplit：層化サンプリングによるランダムサンプリング。k-fold交差検証ではなく、学習データと検証データを複数回（n_splits回）ランダムに分割します。

• trainとtestに同じ顧客がいない場合
  顧客データや時間データなど、学習データと検証データに重複がある場合には、分割方法に注意が必要です。以下に、代表的な方法を示します。
  • 時系列による分割：学習データと検証データを時間軸に沿って分割します。例えば、ある時点までを学習データ、それ以降を検証データとする方法です。
  • IDによる分割：学習データと検証データのID（顧客IDなど）を指定して、分割します。例えば、ある範囲のIDを学習データ、それ以外を検証データとする方法です。
• 時系列の予測モデルの場合 時系列データを扱う場合、データの時系列性を考慮する必要があります。以下に、代表的な方法を示します。
  • ウォークフォワード法：過去のデータから未来のデータを予測する場合に使用する方法です。ある時点までのデータを学習データ、それ以降のデータを検証データとします。
  • ウォークバック法：未来のデータから過去のデータを予測する場合に使用する方法です。ある時点以降のデータを学習データ、それ以前のデータを検証データとします。

ホールドアウト検証と交差検証

一般的な分割方法は、ホールドアウト検証と交差検証の2つがあります。

• ホールドアウト検証: データを学習用と検証用にランダムに分割する方法です。学習データを使ってモデルを学習し、検証データを使ってその性能を評価します。データ数が少ない場合や、モデルのパラメータ探索を行う場合などに用いられます。分割の割合は、学習データ:検証データ=7:3や8:2などが一般的です。
• 交差検証: データをk個のグループに分割し、そのうちの1つを検証用、残りを学習用データとして使います。これをk回繰り返すことで、k個のモデルを作成し、その性能を評価します。分割数kは、5〜10程度が一般的です。交差検証は、データ数が多い場合や、モデルの汎化性能を評価する場合などに用いられます。

以下はPythonのscikit-learnライブラリを用いたホールドアウト検証と交差検証の例です。

• ホールドアウト検証

from sklearn.model_selection import train_test_split

X_train, X_valid, y_train, y_valid = train_test_split(X, y, test_size=0.3, random_state=0)

• 交差検証

from sklearn.model_selection import cross_val_score
from sklearn.linear_model import LinearRegression

scores = cross_val_score(LinearRegression(), X, y, cv=10)

上記の例では、train_test_split関数を使用して、学習データと検証データを7:3の割合で分割しています。また、cross_val_score関数を使用して、交差検証を行っています。cvパラメータに分割数を指定することで、k-fold交差検証を実行しています。

ホールドアウト検証と交差検証の長所と短所

ホールドアウト検証と交差検証の長所と短所をまとめたマトリックスを以下に示します。

ホールドアウト検証は、分割が簡単で計算時間が短く、データ量の利用率が高いため、小規模なデータセットに適しています。一方で、データの偏りやモデルのパラメータ調整によって汎化性能の信頼性が低下する問題があります。

交差検証は、複数回の分割を行い、全てのデータを学習に使用するため、汎化性能の信頼性が高くなります。また、データの偏りに対応できる点もメリットです。一方で、計算時間が長く、パラメータ調整が難しくなるため、

６．モデル学習

勾配ブースティング

from sklearn.model_selection import train_test_split

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)

import lightgbm as lgb

lgb_train = lgb.Dataset(X_train, y_train)
lgb_eval = lgb.Dataset(X_test, y_test, reference=lgb_train)

params = {
'boosting_type': 'gbdt',
'objective': 'binary',
'metric': 'binary_logloss',
'num_leaves': 31,
'learning_rate': 0.05,
'feature_fraction': 0.9
}

gbm = lgb.train(params,
lgb_train,
num_boost_round=100,
valid_sets=lgb_eval,
early_stopping_rounds=10)

y_pred = gbm.predict(X_test, num_iteration=gbm.best_iteration)

# 二値分類の場合はしきい値0.5で0/1に変換する
y_pred_binary = [0 if x < 0.5 else 1 for x in y_pred]

from sklearn.metrics import accuracy_score

accuracy = accuracy_score(y_test, y_pred_binary)
print('Accuracy:', accuracy)

import lightgbm as lgb
from sklearn.model_selection import KFold

# モデルのパラメータ設定
params = {
'objective': 'binary',
'metric': 'binary_logloss',
'num_leaves': 31,
'learning_rate': 0.1,
'feature_fraction': 0.8,
'bagging_fraction': 0.8,
'bagging_freq': 5,
'verbose': -1,
'random_state': 42
}

# クロスバリデーションの設定
kf = KFold(n_splits=5, shuffle=True, random_state=42)

# スコアを保存するリスト
scores = []

# クロスバリデーションの実行
for train_index, val_index in kf.split(X):
# 学習データと検証データの分割
X_train, X_val = X[train_index], X[val_index]
y_train, y_val = y[train_index], y[val_index]

# LightGBM用のデータセットに変換
lgb_train = lgb.Dataset(X_train, y_train)
lgb_val = lgb.Dataset(X_val, y_val, reference=lgb_train)

# モデルの学習
model = lgb.train(params,
lgb_train,
valid_sets=[lgb_train, lgb_val],
num_boost_round=1000,
early_stopping_rounds=10,
verbose_eval=False)

# テストデータでの予測
y_pred = model.predict(X_test, num_iteration=model.best_iteration)

# AUCスコアの算出
score = roc_auc_score(y_test, y_pred)

# スコアをリストに追加
scores.append(score)

# スコアの平均値を算出
mean_score = np.mean(scores)
print('Mean AUC Score:', mean_score)

ベースライン評価

ベースラインの評価は、モデルの初期状態での精度を把握することが目的です。まずはデータを前処理し、モデルに入力できるように整形します。次に、モデルを訓練し、予測精度を評価します。これには、交差検証を行うことが一般的です。交差検証では、データを複数のフォールドに分割し、それぞれのフォールドでモデルを訓練・検証します。これにより、モデルの汎化性能を評価することができます。

モデルの精度、誤差の分布、予測値の分布の観点

例えば、ある分類問題に対してベースラインモデルを作成する場合を考えます。以下のような手順で評価を行うことができます。

1. データの前処理を行う。欠損値の補完や特徴量のスケーリングなどを行う。
2. データを訓練データとテストデータに分割する。一般的に、訓練データをモデルの学習に用い、テストデータでモデルの評価を行います。
3. 分類モデルを作成する。例えば、ランダムフォレストやSVM、ニューラルネットワークなどのアルゴリズムを使用して、分類モデルを作成します。
4. 交差検証を行い、モデルの精度を評価する。例えば、10分割交差検証を行って、モデルの平均精度を評価します。また、学習曲線を作成して、学習データと検証データの誤差の推移を確認します。
5. 誤差の分布を確認する。モデルの予測誤差がどのように分布しているかを確認することで、モデルの改善方針を見出すことができます。
6. 予測値の分布を確認する。分類モデルであれば、予測確率がどのように分布しているかを確認することができます。例えば、予測確率が0.5付近に集中している場合は、モデルが不安定である可能性があります。

これらの手順を踏むことで、ベースラインモデルの精度を評価することができます。

# モデルの予測値を取得
y_pred = model.predict(X_test)

# モデルの精度を評価
acc = accuracy_score(y_test, y_pred)
f1 = f1_score(y_test, y_pred)

# 誤差の分布を観察
errors = y_pred - y_test
plt.hist(errors, bins=50)
plt.xlabel('Error')
plt.ylabel('Frequency')
plt.title('Error distribution')

# 予測値の分布を観察
plt.hist(y_pred, bins=50)
plt.xlabel('Prediction')
plt.ylabel('Frequency')
plt.title('Prediction distribution')

ここでは、modelが予測した値y_predとy_testの真の値を比較し、精度指標であるaccuracy_scoreとf1_scoreを計算しています。次に、誤差の分布をhist関数を使ってヒストグラムで表示しています。誤差が0に近いほど良いモデルであり、誤差の分布が中心に集まっているかどうかで精度を評価することができます。最後に、予測値の分布も同様にhist関数を使って表示しています。予測値の分布が真の値に近いほど良いモデルであると言えます。

７．モデル推論

モデルの性能評価

# 推論対象となるデータを収集
test_data = pd.read_csv('test.csv')

# データの前処理
test_data = preprocess(test_data)

# 推論用データセットをファイルに保存
test_data.to_csv('test_processed.csv', index=False)

import pandas as pd
import lightgbm as lgb

# 学習済みモデルを読み込む
model = lgb.Booster(model_file='model.txt')

# 予測したいデータを読み込む
test_data = pd.read_csv('test_data.csv')

# 学習用データセットと同じ前処理を行う
test_data = test_data.drop('id', axis=1) # 不要な列を削除
test_data['date'] = pd.to_datetime(test_data['date']) # 日付型に変換
test_data['year'] = test_data['date'].dt.year # 年を抽出
test_data['month'] = test_data['date'].dt.month # 月を抽出
test_data = test_data.drop('date', axis=1) # 不要な列を削除
test_data = pd.get_dummies(test_data, columns=['store']) # カテゴリ変数をOne-Hotエンコーディング

# モデルに予測させる
pred = model.predict(test_data)

# 予測結果を解釈する
print(pred)