【やさしい】解説!!「Kaggleを始める入門コース」【3章機械学習の進め方/特徴量エンジニアリング担当】

こんにちはヤク学長です。

本記事の目的は、「簡単にKaggleを始める」ことを目的としています。

【本記事のもくじ】

まず、「Kaggle」に真剣に取り組むための概要を解説します。
下記の方法で、簡単に概要を抑えることができます。

• Kaggleはアジャイル型が基本

• 分析プロセスの作成

• 特徴量エンジニアリングの進め方
• ２．データ前処理(詳細)
• ３．特徴量生成

それでは、上から順番に見ていきます。
なお、本上記の方法を抑えれば成果が出ます。

・Kaggleを使って、必要な基礎スキルをスムーズに身につけ効率的に学ぶための記事です。

記事の内容は「転載 & 引用OK」問題ありません。

分析プロセスの作成

分析プロセスとタスクのマトリックスの基本構成を記します

このマトリックスは、機械学習やデータ分析プロジェクトを進める際に、各プロセスで行うべきタスクを整理し、進捗管理を容易にするために使用できます。

このマトリックスを3人で進める前提で進めていきます。

• ①ベースライン作成担当
• ②特徴量エンジニアリング
• ③モデルチューニング

今回は

②特徴量エンジニアリング担当

の工程を見ていきます。

特徴量エンジニアリングの進め方

特徴量エンジニアリングの進め方については、ベースライン工程担当者との関係性が非常に重要です。

ベースライン工程担当者は、データの基本的な前処理やモデルの基本的な構築を担当しており、特徴量エンジニアリングの前段階にあたります。そのため、特徴量エンジニアリングを行う際には、ベースライン工程担当者が作成したモデルや前処理に対して、どのような特徴量が有効かを検討する必要があります。

特徴量エンジニアリングの評価の例

例えば、Kaggleのタイタニックコンペティションにおいて、以下のように特徴量エンジニアリングを行った場合を考えてみます。

ベースラインモデルでは、Pclass、Sex、Ageの3つの特徴量を使用していました。そこで、Fareという特徴量を追加し、モデルの評価を行いました。

追加した特徴量の分布を確認したところ、外れ値が多数存在していることがわかりました。そこで、外れ値を除外した場合のモデル精度を測定することで、追加した特徴量の有用性を評価することができます。

また、Fareという特徴量は、Pclassと密接に関連していることがわかりました。そこで、PclassごとにFareの分布を比較し、それぞれのPclassにおけるFareの重要度を評価することもできます。

さらに、Fareという特徴量が不均衡な分布を持っていることがわかった場合、対数変換を行って分布を整え、その効果を評価することもできます。

以上のように、特徴量エンジニアリングの評価には、追加した特徴量の分布や重要度、他の特徴量との関係性、分布の整合性などを考慮して、精度向上のために評価を行うことが重要です。

Pythonのコード例です。説明変数として”Embarked”という列を追加しています。

import pandas as pd

# データの読み込み
train = pd.read_csv('train.csv')

# Embarked列の欠損値を最頻値で補完
train['Embarked'].fillna(train['Embarked'].mode()[0], inplace=True)

# Embarked列をOne-hotエンコーディング
embarked_onehot = pd.get_dummies(train['Embarked'], prefix='Embarked')
train = pd.concat([train, embarked_onehot], axis=1)

# モデルの学習や検証
# ...

２．データ前処理(詳細)

①要約統計量の一括確認：Pandas関数describe（）

Pandas関数のdescribe()を使用することで、データセットの要約統計量を一括して確認することができます。以下は、サンプルデータセットの要約統計量を出力する例です。

import pandas as pd

# データの読み込み
df = pd.read_csv('sample_data.csv')

# 要約統計量の確認
summary = df.describe()
print(summary)

# 転置して表示 print(df.describe().T)

import pandas as pd

# データセットを読み込む
df = pd.read_csv('dataset.csv')

# 平均と標準偏差を計算する
result = df.agg(['mean', 'std'])

# 結果を表示する
print(result)

col1 col2 col3
mean 10.000000 0.500000 0.100000
std 5.612486 0.534522 0.316228

③種類ごとの件数確認：Pandas関数value_counts（）

Pandas関数value_counts()を用いると、カテゴリ変数について、それぞれの種類が何件ずつ存在するかを確認できます。以下は、例としてカラム名が「sex」であるデータフレームdfについて、値の種類ごとの件数を確認するコードです。

df['sex'].value_counts()

このコードを実行すると、性別が「male」と「female」の2種類である場合には、それぞれの件数が表示されます。

便利な標準ライブラリ pandas_profiling

pandas_profilingは、pandasデータフレームのプロファイリングレポートを生成するライブラリです。データフレームの各列についての統計量や分布、欠損値、相関関係などを可視化し、データの特徴を理解するのに役立ちます。また、プロファイリングレポートの出力も簡単で、HTML形式で出力できます。pandas_profilingを使うことで、データの概要を手軽に把握することができます。

import pandas as pd
import pandas_profiling

# データを読み込む
df = pd.read_csv("train.csv")

# プロファイルを作成する
profile = pandas_profiling.ProfileReport(df)

# レポートを出力する
profile.to_file("train_report.html")

①欠損値の確認方法

欠損値の確認方法は、Pandasのisnull()関数を使うことが一般的です。以下は具体的な例です。

import pandas as pd

# CSVファイルからデータを読み込む
df = pd.read_csv('data.csv')

# 欠損値の確認
print(df.isnull().sum())

上記のコードでは、isnull()関数によって各要素が欠損値かどうかを判定し、sum()関数によって欠損値の総数を算出しています。このようにして、各特徴量に含まれる欠損値の数を一度に確認することができます。

import pandas as pd
import numpy as np

# データの作成
df = pd.DataFrame({'A': [1, 2, np.nan, 4],
'B': [5, np.nan, 7, 8],
'C': [9, 10, 11, 12]})

# 欠損値を0で埋める
df_fillna = df.fillna(0)

# 結果の表示
print(df_fillna)

A B C
0 1.0 5.0 9
1 2.0 0.0 10
2 0.0 7.0 11
3 4.0 8.0 12

import pandas as pd
import numpy as np

# データの作成
df = pd.DataFrame({'A': [1, 2, np.nan, 4],
'B': [5, np.nan, 7, 8],
'C': [9, 10, 11, 12]})

# 欠損値を平均値で補間する
df_fillna = df.fillna(df.mean())

# 結果の表示
print(df_fillna)

上記コードを実行すると、以下のように欠損値が平均値で補間されたデータフレームが表示されます。

A B C
0 1.0 5.0 9
1 2.0 6.0 10
2 2.333333 7.0 11
3 4.0 8.0 12

③欠損値の補間方法（カテゴリ）

カテゴリ変数における欠損値の補間方法には以下のような手法があります。

1. 最頻値補間（Mode imputation）：カテゴリ変数の中で最も頻度の高い値を欠損値に代入する方法。
2. 欠損値を一意なカテゴリ値として扱う：欠損値を一意なカテゴリ値として扱い、新たなカテゴリ値としてモデルに組み込む方法。
3. 重回帰分析などを用いた予測モデルによる補間：欠損値を含まない他の特徴量を用いて、重回帰分析などの予測モデルを作成し、欠損値を予測値で補完する方法。

これらの方法は、データの特性や問題によって最適な方法が異なります。データの内容や目的に合わせて、適切な方法を選択する必要があります。

空白埋めと最頻値補間

カテゴリ変数に対する欠損値の補間方法として、空白埋めや最頻値補間などがあります。以下にPythonでの具体例を示します。

空白埋めによる補間例：

import pandas as pd

# データ読み込み
df = pd.read_csv('data.csv')

# カテゴリ変数に空白を含む場合、'unknown'で補間
df['category_col'] = df['category_col'].fillna('unknown')

最頻値補間による補間例：

import pandas as pd

# データ読み込み
df = pd.read_csv('data.csv')

# カテゴリ変数の最頻値で補間
most_frequent_value = df['category_col'].mode().values[0]
df['category_col'] = df['category_col'].fillna(most_frequent_value)

import numpy as np

# データの作成
data = np.array([10, 20, 30, 40, 50, 60, 70, 80, 90, 100, 1000])

# 最小値と最大値の算出
min_val = np.min(data)
max_val = np.max(data)

# 外れ値の判定
for d in data:
if d < min_val or d > max_val:
print('外れ値があります:', d)

import numpy as np
import matplotlib.pyplot as plt

# データの作成
data = np.array([10, 20, 30, 40, 50, 60, 70, 80, 90, 100, 1000])

# ヒストグラムの作成
plt.hist(data, bins=10)

# グラフの表示
plt.show()

import pandas as pd

# データを読み込む
df = pd.read_csv('data.csv')

# 第1四分位数、第3四分位数、四分位範囲を求める
Q1 = df.quantile(0.25)
Q3 = df.quantile(0.75)
IQR = Q3 - Q1

# 下限値と上限値を設定する
lower_limit = Q1 - 1.5 * IQR
upper_limit = Q3 + 1.5 * IQR

# 下限値より小さい、または上限値より大きいデータ点を外れ値とする
outliers = df[(df < lower_limit) | (df > upper_limit)].dropna(how='all')

import pandas as pd

# データ読み込み
df = pd.read_csv('train.csv')

# 外れ値を欠損値に変換
q1 = df['age'].quantile(0.25)
q3 = df['age'].quantile(0.75)
iqr = q3 - q1
outlier_min = q1 - 1.5 * iqr
outlier_max = q3 + 1.5 * iqr
df.loc[(df['age'] < outlier_min) | (df['age'] > outlier_max), 'age'] = None

# 欠損値の確認
print(df.isnull().sum())

from sklearn.preprocessing import StandardScaler, MinMaxScaler

# データを読み込む
X = ...

# 標準化を行う
scaler = StandardScaler()
X_std = scaler.fit_transform(X)

# 正規化を行う
scaler = MinMaxScaler()
X_norm = scaler.fit_transform(X)

３．特徴量生成

特徴量生成とは、与えられたデータに対して、人工的に新しい特徴量を追加することを指します。データが持っている特性をよりよく反映し、モデルの性能を向上させるために、特徴量生成は非常に重要な前処理手法の一つとされています。特徴量生成には、ドメイン知識を使って手動で特徴量を作成する方法や、機械学習アルゴリズムを用いて自動で特徴量を生成する方法があります。

→基本的に効率が良いのは①の方。

以下に特徴量生成リストの例を示します。

特徴量生成リスト

特徴量生成リスト

特徴エンジニアリング

単変数：数値

①対数変換

対数変換は、正規分布に近似するためによく用いられます。以下はPythonでの具体例です。

import numpy as np

# 0から1までの一様乱数を生成
data = np.random.rand(1000)

# 対数変換
log_data = np.log(data)

# ヒストグラムを作成
import matplotlib.pyplot as plt

plt.hist(log_data, bins=50)
plt.show()

②累乗、指数関数、逆数

累乗、指数関数、逆数の変換は、特に右に裾の長い分布を左に引っ張って正規分布に近づけるのに役立ちます。

• 累乗変換：データをある数値（例えば2や3など）の累乗で割ることで行われます。対数変換と同様に、小さい値を大きくし、大きい値を小さくします。
• 指数関数変換：指数関数変換は、データをある値の指数関数で乗算することによって行われます。右に裾の長い分布を左に引っ張るために使われます。
• 逆数変換：逆数変換は、データを1で割ることによって行われます。右に裾の長い分布を左に引っ張って正規分布に近づけるのに役立ちます。

以下はPythonでの具体例です。

累乗変換の例：

import numpy as np
import pandas as pd

# データセットの作成
data = pd.DataFrame({'x': np.random.normal(0, 1, 1000)})

# 累乗変換
data['x_pow2'] = data['x']**2

import numpy as np
import pandas as pd

# データセットの作成
data = pd.DataFrame({'x': np.random.normal(0, 1, 1000)})

# 指数関数変換
data['x_exp'] = np.exp(data['x'])

逆数変換の例：

import numpy as np
import pandas as pd

# データセットの作成
data = pd.DataFrame({'x': np.random.normal(0, 1, 1000)})

# 逆数変換
data['x_inv'] = 1 / data['x']

③離散化

離散化とは、連続値を離散値に変換することを指します。一般的に、離散化することでデータの扱いやすさが向上する場合があります。離散化の手法には、等幅分割や等頻度分割、k-means法などがあります。

等幅分割は、最小値から最大値までを指定された数だけ幅で分割する方法です。等頻度分割は、データを分位数で分割し、各分割間の値の数を等しくする方法です。k-means法は、クラスタリング手法の一つであり、各データをk個のクラスタに分割することで、離散化を行います。

以下は、Pythonでの等幅分割の具体例です。数値データを5つの区間に分割し、新しい離散変数を作成します。

import pandas as pd

# データの作成
data = pd.DataFrame({'value': [10, 20, 30, 40, 50, 60, 70, 80, 90, 100]})

# 等幅分割
data['discretization'] = pd.cut(data['value'], 5, labels=False)

# 結果の表示
print(data)

出力結果:

value discretization
0 10 0
1 20 0
2 30 1
3 40 2
4 50 2
5 60 3
6 70 3
7 80 4
8 90 4
9 100 4

import pandas as pd

# DataFrameの作成
df = pd.DataFrame({'A': [1, 2, None], 'B': [None, 4, 5]})

# isnull()関数で欠損値の箇所をTrue、非欠損値の箇所をFalseで表すDataFrameを作成する
isnull_df = df.isnull().astype(int)
print(isnull_df)

import pandas as pd

# カテゴリ変数を含むデータセットを用意する
df = pd.DataFrame({'color': ['red', 'blue', 'green', 'red', 'green']})

# One Hot Encodingを実行する
ohe_df = pd.get_dummies(df, columns=['color'])

print(ohe_df)

color_blue color_green color_red
0 0 0 1
1 1 0 0
2 0 1 0
3 0 0 1
4 0 1 0

import pandas as pd
import category_encoders as ce

# データの準備
df = pd.DataFrame({'性別': ['男', '女', '男', '男', '女', 'その他', '女', '男']})

# カウントエンコーディングの実行
encoder = ce.CountEncoder(cols=['性別'])
df_encoded = encoder.fit_transform(df)

# 結果の表示
print(df_encoded)

実行結果は以下のようになります。

性別
0 4
1 3
2 4
3 4
4 3
5 1
6 3
7 4

Label Encodingは、カテゴリ変数を数値に変換する方法の1つで、カテゴリ変数の各要素に一意の整数を割り当てます。

具体的には、例えばカラムに”red”、”blue”、”green”という3つのカテゴリがある場合、”red”を0、”blue”を1、”green”を2などのように、カテゴリの出現順に数値を割り当てます。

以下は、Pythonのscikit-learnライブラリを使って、Label Encodingを実行する例です。

from sklearn.preprocessing import LabelEncoder

# サンプルのカテゴリ変数
color = ["red", "blue", "green", "green", "red"]

# Label Encoderを定義
le = LabelEncoder()

# カテゴリ変数を数値に変換
encoded_color = le.fit_transform(color)

print(encoded_color)

実行結果：

[0 1 2 2 0]

数値×数値

数値×数値の組み合わせによる特徴量生成方法は、以下のようなものがあります。

1. 積特徴量：2つの数値変数を掛け合わせることで生成される特徴量です。例えば、身長と体重の積を特徴量として追加することができます。

2. 商特徴量：2つの数値変数を割り算することで生成される特徴量です。例えば、身長を体重で割ったBMI（Body Mass Index）を特徴量として追加することができます。

3. 差分特徴量：2つの数値変数の差分を計算することで生成される特徴量です。例えば、前年度との売上高の差分を特徴量として追加することができます。

4. 平均特徴量：2つの数値変数の平均を計算することで生成される特徴量です。例えば、家賃と光熱費の平均を特徴量として追加することができます。

これらの方法によって、2つの数値変数から新しい特徴量を生成することができます。ただし、注意すべき点として、2つの変数の相関が高い場合は、過学習のリスクがあるため、注意が必要です。

身長と体重からBMIという新しい特徴量を作成する例です。

import pandas as pd

# データフレームの作成
data = {
'height': [165, 170, 155, 180, 160],
'weight': [52, 65, 48, 70, 55]
}

df = pd.DataFrame(data)

# BMIの計算
df['bmi'] = df['weight'] / ((df['height'] / 100) ** 2)

print(df)

出力結果：

height weight bmi
0 165 52 19.100092
1 170 65 22.491349
2 155 48 19.934640
3 180 70 21.604938
4 160 55 21.484375

数値 × カテゴリ変数

数値 × カテゴリ変数の特徴量生成の例として、以下のようなものがあります。

例えば、ある建物の面積を表す数値変数と、その建物の用途を表すカテゴリ変数があった場合、それらの組み合わせで新しい特徴量を作成することができます。具体的には、建物の面積がその用途に適しているかどうかを表す指標を作成することができます。例えば、以下のような指標が考えられます。

• 面積/部屋数：建物全体の面積を部屋数で割った値。部屋の広さが適切かどうかを判定する指標となります。
• 面積/人数：建物全体の面積を利用者数で割った値。居住空間として十分な広さを確保しているかどうかを判定する指標となります。

これらの指標を新しい特徴量としてデータセットに加えることで、より良い予測モデルを作成することができる場合があります。

例えば、以下のようなデータがあるとします。

AgeとGenderの組み合わせに基づく新しい特徴量を作成するには、pandasのapply関数を使って次のようにします。

import pandas as pd

df = pd.DataFrame({'ID': [1, 2, 3, 4],
'Age': [25, 30, 22, 35],
'Gender': ['Male', 'Female', 'Male', 'Female']})

df['Age_Gender'] = df.apply(lambda x: str(x['Age']) + '_' + x['Gender'], axis=1)

print(df)

実行結果：

ID Age Gender Age_Gender
0 1 25 Male 25_Male
1 2 30 Female 30_Female
2 3 22 Male 22_Male
3 4 35 Female 35_Female

gender car_type
0 female compact
1 male compact
2 female suv
3 male suv
4 male suv

import pandas as pd

data = pd.DataFrame({
'gender': ['female', 'male', 'female', 'male', 'male'],
'car_type': ['compact', 'compact', 'suv', 'suv', 'suv']
})

result = pd.crosstab(index=data['gender'], columns=data['car_type'])
print(result)

car_type compact suv
gender
female 1 1
male 1 2

import pandas as pd

data = pd.DataFrame({
'gender': ['female', 'male', 'female', 'male', 'male'],
'car_type': ['compact', 'compact', 'suv', 'suv', 'suv']
})

result = data.melt().value_counts().reset_index()
result.columns = ['combination', 'count']
print(result)

combination count
0 (male, suv) 2
1 (female, suv) 1
2 (female, compact) 1
3 (male, compact) 1

# カテゴリ変数1を母集団としたときのカテゴリ変数2の出現割合を計算する場合
cross_tab = pd.crosstab(df['カテゴリ変数1'], df['カテゴリ変数2'], normalize='index')
cross_tab_percentage = cross_tab.apply(lambda x: x/x.sum(), axis=1)

import pandas as pd

df = pd.DataFrame({
'gender': ['male', 'female', 'female', 'male', 'male'],
'age': [20, 35, 45, 30, 50]
})

import numpy as np

df['age_group'] = np.where(df['age'] <= 30, 'young',
np.where(df['age'] <= 40, 'middle', 'old'))

import pandas as pd

df = pd.read_csv('titanic.csv', usecols=['PassengerId', 'Age', 'Survived'])
df.head()

df['Age_lag1'] = df['Age'].shift(1)
df.head()

import pandas as pd

# 欠損値を含むDataFrameを作成
df = pd.DataFrame({'A': [1, 2, np.nan, 4, np.nan], 'B': [6, np.nan, np.nan, 9, 10], 'C': [11, 12, 13, np.nan, np.nan]})

# 欠損値を補間
df_interpolated = df.interpolate(method='bfill')
print(df_interpolated)

A B C
0 1.0 6.0 11.0
1 2.0 9.5 12.0
2 4.0 9.5 13.0
3 4.0 9.5 NaN
4 NaN 10.0 NaN

IDごとに1行シフト

IDごとに1行シフトする例です。例えば、以下のようなDataFrame df があったとします。

ID date value
0 A 1/1/1 3
1 A 1/2/1 4
2 A 1/4/1 2
3 A 1/5/1 6
4 B 1/1/1 1
5 B 1/3/1 5
6 B 1/5/1 3
7 C 1/2/1 2
8 C 1/5/1 9
9 C 1/6/1 1

IDごとに1行シフトするには、groupby() メソッドを使ってIDごとにグループ分けし、shift() メソッドを使ってシフトします。この例では、date 列を日付型に変換してソートしてからシフトします。

df['date'] = pd.to_datetime(df['date'])
df = df.sort_values(by=['ID', 'date'])
df['shifted_value'] = df.groupby('ID')['value'].shift()

この結果、以下のようになります。

ID date value shifted_value
0 A 2001-01-01 3 NaN
1 A 2001-01-02 4 3.0
2 A 2001-01-04 2 4.0
3 A 2001-01-05 6 2.0
4 B 2001-01-01 1 NaN
5 B 2001-01-03 5 1.0
6 B 2001-01-05 3 5.0
7 C 2001-01-02 2 NaN
8 C 2001-01-05 9 2.0
9 C 2001-01-06 1 9.0

import pandas as pd

# 時系列データを読み込む
df = pd.read_csv('data.csv', parse_dates=['datetime'])

# datetime列をインデックスに設定する
df = df.set_index('datetime')

# ウィンドウサイズを7日に設定して移動平均を計算する
rolling_mean = df.rolling(window=7).mean()

import pandas as pd
import numpy as np

df = pd.DataFrame({'A': [1, 3, 5, 7, 9], 'B': [2, 4, 6, 8, 10]})

cumsum = df.cumsum()

cumprod = df.cumprod()

①単語の出現回数（BoW：Bag of Words）

BoW（Bag of Words）とは、テキストデータから特徴量を生成する手法の一つで、単語の出現回数を特徴量として扱う方法です。以下はPythonでBoWを実装する例です。

import pandas as pd
from sklearn.feature_extraction.text import CountVectorizer

# テキストデータの用意
text = ['This is a pen', 'That is a book', 'This is a book']

# CountVectorizerのインスタンスを生成
vectorizer = CountVectorizer()

# 単語の出現回数をカウント
X = vectorizer.fit_transform(text)

# 特徴量名を取得
feature_names = vectorizer.get_feature_names()

# 特徴量をDataFrame形式で表示
df = pd.DataFrame(X.toarray(), columns=feature_names)
print(df)

出力結果:

book is pen that this
0 0 1 1 0 1
1 1 1 0 1 0
2 1 1 0 0 1

!pip install janome

!pip install mecab-python3

import MeCab

tagger = MeCab.Tagger('-d /usr/lib/x86_64-linux-gnu/mecab/dic/mecab-ipadic-neologd')

text = 'すもももももももものうち'

result = tagger.parse(text)

print(result)