【アルゴリズム選定】因果機械学習と多腕バンディットアルゴリズムの体系的整理

現代のデータサイエンスにおいて因果推論と**因果機械学習（Causal ML）は、単なる相関ではなく因果関係を明らかにするために極めて重要な役割を果たします。また、オンライン実験や意思決定の最適化には多腕バンディット（Multi-Armed Bandit）**に代表されるアルゴリズムが利用され、探索と利得最大化のトレードオフに取り組んでいます。本稿では、マーケティング、医療、金融など様々な分野で応用されるこれらの手法について、以下の観点から体系的に整理します。

• アルゴリズム名 – 手法の名称および分類

• 定義と理論的背景 – そのアルゴリズムが解く問題設定や理論的な基盤（例えばポテンシャルアウトカム枠組みや意思決定理論）

• 適用される状況（ユースケース・業界） – どのような場面・領域で活躍するか

• 利点と限界 – 手法の強みやメリット、および前提条件や弱点

• 他手法との比較・使い分け – 類似手法や従来手法との比較、利用上のガイドライン

• 代表的な数式またはコード例 – 理論を表す数式やPythonの簡潔なコード例

以下、因果推論の代表的なアルゴリズム群とバンディットアルゴリズム群に分けて詳細に述べます。

観察データに対する因果推論アルゴリズム

まずはランダム化実験を行えない観察データから因果効果を推定するアルゴリズムを紹介します。これらは統計的手法と機械学習を組み合わせて、「もし介入を行ったら結果はどう変わるか？」という問いに答えるものです。

傾向スコアマッチング (Propensity Score Matching, PSM)

定義と背景: 傾向スコアマッチングは、与えられた共変量に基づいて処置を受ける確率（傾向スコア）を推定し、その確率が近い処置群と対照群の個体を対応付ける手法ですen.wikipedia.org。1983年にRosenbaumとRubinにより提案され、Neyman-Rubinのポテンシャルアウトカム枠組みに根ざしていますen.wikipedia.org。観察データ中で処置群と非処置群の共変量分布を整合させ、疑似的な無作為化比較試験を実現することが目的ですen.wikipedia.org。

適用ユースケース: ランダム化試験が困難または不可能な状況で広く使われます。例えば医療分野では、新薬の効果を過去の患者データから推定する研究en.wikipedia.org、マーケティングでは広告キャンペーンに任意参加したユーザの売上増加効果を推定する分析などに適用されています。また、公共政策や社会科学の分野でも介入効果の事後評価に利用されます。

利点:

• 観察研究でも処置群と対照群の共変量バランスを確保することで交絡バイアスを低減en.wikipedia.orgし、因果効果推定の精度を向上します。

• 傾向スコアさえ推定できれば適用可能であり、回帰モデルに比べモデルの構造的仮定が少なく、モデルに起因するバイアスを減らせます。

限界:

• あくまで観察データ上の観測可能な交絡因子に対してのみ補正が効くため、測定されていない交絡（潜在的交絡因子）がある場合にはバイアスが残存します。

• マッチングの過程でマッチする対象が見つからないサンプルは除外されるため、データの一部ロスや母集団の定義変化が生じます。

• 高次元の共変量を持つ場合や傾向スコア分布に重なり（overlap）が乏しい場合、マッチングが難しく推定が不安定になります。

他手法との比較・使い分け: 傾向スコアマッチングは回帰による単純な共変量調整と比べて、処置群・対照群の共変量分布を直接揃える点が特徴です。逆確率重み付け（後述）とは目的は共通していますが、マッチングではデータのサブセットを厳選するのに対し、重み付けでは全データを活用する点で使い分けられます。一般にデータ量が十分にあり、極端な傾向スコアの値が少ない場合は重み付けのほうが情報を無駄にしない利点があります。一方、ビジネス現場などでマッチした事例ペアを具体的に示したい場合や、推定結果を説明したい場合にはマッチングが直観的に理解しやすいでしょう。

代表的な数式: 傾向スコアを $e(x)=P(W=1\mid X=x)$ とすると、PSMでは $e(x)$ が近い処置ユニット $(W=1)$ と非処置ユニット $(W=0)$ をペアにします。その後、各ペア内でアウトカム $Y$ の差分を計算し平均することで平均処置効果 (ATE) を推定します。なお、ペアリングにはしばしば最近傍マッチングやカリパーマッチングなどの手法が用いられます。

逆確率重み付け (Inverse Probability of Treatment Weighting, IPTW)

定義と背景: IPTWは「処置を受けたか否か」という実現した割当を逆確率で重み付けする手法ですcausalml.readthedocs.io。具体的には、傾向スコア $e(x)$ を用いて、処置群の個体には $1/e(x)$ の重み、対照群の個体には $1/(1-e(x))$ の重みを付与しますcausalml.readthedocs.io。こうすることで、実際には処置群に偏っているデータにおいても、重み付け後の人工的なサンプル集団では処置群と対照群の背景分布が似たものになるよう調整できますcausalml.readthedocs.io。

適用ユースケース: PSMと同様に医療や疫学の観察研究（例：治療の効果検証）、経済学の政策評価、Webマーケティングでのキャンペーン効果分析など、交絡調整が必要な幅広いドメインで使われます。特にPSMではマッチ対象が見つかりにくい大規模データで、全データを活かして推定したい場合にIPTWが選好されます。

利点:

• データの有効活用: 重み付けにより理論上全サンプルを利用でき、マッチングのようにサンプルを捨てずに済むため推定効率が高いcausalml.readthedocs.io。

• 無視可能な割当 (unconfoundedness) の仮定の下で、一様な無作為割当になったかのような重み付けサンプルを構築できるため、因果効果の推定にバイアスが少ない結果が得られます。

限界:

• 傾向スコアが0または1に極端に近い（= 極端値）観測があると、対応する重み $1/e(x)$ や $1/(1-e(x))$ が非常に大きくなり、推定量の分散を著しく増大させますcausalml.readthedocs.io。この問題に対しては、重みのトリミングや正則化（例えば重みの上限を定める）がしばしば必要ですcausalml.readthedocs.io。

• 傾向スコアモデルが誤指定されるとバイアスが残る点はPSMと同様であり、モデルの信頼性に推定結果が依存します。

他手法との比較・使い分け: PSMとの比較では、前述の通り「データを捨てない」IPTWの方が効率的ですが、外れ値的なサンプルの影響が大きくなるリスクがあります。傾向スコアモデルへの依存は両者共通ですが、IPTWは傾向スコアが適切に推定された場合に漸近的に一致推定量を与える一方、マッチングは共変量分布の直感的な均衡を重視します。推定精度を高めたい場合や重みの扱いに慣れている場合はIPTW、結果の説明容易性やロバスト性重視ならPSMを選ぶなど、目的に応じて使い分けます。また後述の重回帰によるアウトカムモデルと組み合わせることで二重にロバストな推定が可能です。

代表的な数式: IPTW推定量は平均処置効果 (ATE) について以下のように表せます：

$$\hat{\tau}_{IPTW} \;=\; \frac{1}{N}\sum_{i=1}^N \left(\frac{W_i Y_i}{\hat{e}(X_i)} – \frac{(1-W_i) Y_i}{\,1-\hat{e}(X_i)\,}\right)$$

ここで $\hat{e}(X_i)$ は個体 $i$ の傾向スコア推定値です。この推定量は $W \perp!!!\perp Y(0),Y(1) \mid X$（交絡が観測変数 $X$ で調整可能）という仮定の下で不偏となります。

二重ロバスト推定 (Augmented IPW など)

定義と背景: 二重ロバスト推定はアウトカム予測モデルと処置割当モデル（傾向スコア）の双方を組み合わせて因果効果を推定する手法ですpmc.ncbi.nlm.nih.gov。代表的なものにAugmented Inverse Propensity Weighting (AIPW) や ターゲット最大尤度推定 (TMLE) があります。二重ロバスト性とは、「アウトカムモデルと傾向スコアモデルのどちらか一方が正しく特定されていれば、処置効果推定が不偏（一致）となる」性質を指しますpmc.ncbi.nlm.nih.gov。

適用ユースケース: 医療統計や疫学研究でAIPWやTMLEが盛んに用いられており、例えば治療効果の推定において回帰モデルのバイアスとIPTWのバリアンス増大の両者を緩和するために利用されます。また、経済学でも傾向スコアとアウトカムモデルを機械学習で推定した Double Machine Learning アプローチが政策効果分析に導入されています。データ量が多く外れ値も含むケースや、モデルミス指定のリスクを減らしたい高次元データ分析で強みを発揮します。

利点:

• モデルの安全性: 二重ロバスト性により、片方のモデルが正しければ推定量が一致性を持つため、モデル誤差に対して保険がかかっていますpmc.ncbi.nlm.nih.gov。

• 効率の向上: アウトカムと傾向スコア双方の情報を利用することで、いずれか一方のみを使うより精度が向上する場合があります。特にTMLEは半パラメトリック効率境界に達する推定量を構成できますcausalml.readthedocs.io。

• 機械学習との親和性: 近年の実装では両モデルに勾配ブースティングやニューラルネットなどを用いることができ、高次元・非線形な関係に対処可能です。

限界:

• 複雑性: 二種類のモデルを推定し組み合わせるため実装・解釈が複雑になります。専門知識が要求され、結果の妥当性検証も難しくなりがちです。

• 両モデルが大きく誤特定されている場合にはバイアスが増幅する可能性も指摘されています（ダブルロバスト推定がダブルで脆弱になり得るという報告もあります）。

• サンプルサイズが小さい場合、2つのモデル推定によるばらつき増大で不安定になることがあります。

他手法との比較・使い分け: AIPWは基本的に「IPW + アウトカム回帰補正」と言える手法で、IPW単体よりバリアンス低減が期待できます。TMLEcausalml.readthedocs.ioは推定量そのものを直接最適化（ターゲット化）することで、アウトカム回帰やIPWよりも外れ値や偏った処置割当による影響を緩和する傾向がありますcausalml.readthedocs.io。両者とも実装パッケージ（Rの tmle やPythonの econml など）が整いつつあり、観測データの因果推論において精度とロバスト性を両立したい場合に選択肢となります。一方、結果の解釈容易性では単純な回帰やマッチングに劣るため、説明性が重視される現場では慎重な説明補助が必要でしょう。

代表的な数式: AIPWの推定量の一例を示します。傾向スコア $\hat{e}(x)$、処置群アウトカム予測 $\hat{m}_1(x)=E[Y\mid W=1,X=x]$、対照群アウトカム予測 $\hat{m}_0(x)$ が得られているとすると、個体 $i$ に対する擬似アウトカム $D_i$ を以下で定義しますcausalml.readthedocs.io:

$$D_i \;=\; \frac{W_i – \hat{e}(X_i)}{\hat{e}(X_i)\,[\,1-\hat{e}(X_i)\,]}\,\Big(Y_i – \hat{m}_{W_i}(X_i)\Big) + \hat{m}_1(X_i) – \hat{m}_0(X_i)\,.$$

この $D_i$ は各個体の「推定処置効果」の推定量と言えます。AIPW推定量は ${D_i}$ の平均として表されます。一方TMLEでは、推定された $\hat{m}_0,\hat{m}_1,\hat{e}$ をさらに更新（ターゲティング）し、直接ATEを最適化する手順を踏みますcausalml.readthedocs.iocausalml.readthedocs.io。

メタ学習アルゴリズムによる個別効果推定 (S/T/X/R-learner など)

定義と背景: メタ学習者（Meta-Learner）とは、観測データから条件付き平均処置効果 (CATE) を推定するための汎用的な学習戦略ですcausalml.readthedocs.iocausalml.readthedocs.io。代表的な手法にS-learner, T-learner, X-learner, R-learnerなどがありcausalml.readthedocs.io、回帰モデルや機械学習モデルを組み合わせて個人ごとの処置効果 $\tau(x)$ を推定します。これらは2017年のKünzelらの論文で体系化され、特に異質な効果の存在を捉えるのに有用です。

• S-learner: 処置変数 $W$ を特徴量の一部として含め、単一のモデルでアウトカム $E[Y\mid X=x, W=w]$ を学習しcausalml.readthedocs.io、処置有無の予測差 $\hat{\tau}(x)=\hat{\mu}(x,1)-\hat{\mu}(x,0)$ で効果を推定causalml.readthedocs.io。シンプルですが、処置効果の非線形な相互作用を単一モデルで捉えきれない場合がありますcausalml.readthedocs.io。

• T-learner: 二つのモデルを用意し、処置群データで $E[Y\mid X=x, W=1]=\mu_1(x)$、対照群データで $E[Y\mid X=x,W=0]=\mu_0(x)$ をそれぞれ学習しますcausalml.readthedocs.io。効果は $\hat{\tau}(x)=\hat{\mu}_1(x)-\hat{\mu}_0(x)$ で推定causalml.readthedocs.io。処置・非処置で異なるモデルを使うため柔軟性がありますが、両群のデータ分割によりサンプル効率が低下することがあります。

• X-learner: T-learnerを拡張し、まず $\mu_0(x),\mu_1(x)$ を推定した後、各処置群個体について個人ごとの効果 $D^1_i = Y^1_i – \hat{\mu}_0(X^1_i)$、対照群では $D^0_j = \hat{\mu}_1(X^0_j) – Y^0_j$ を計算しますcausalml.readthedocs.io。次にそれぞれ $D^1$ と $D^0$ を目的変数として回帰し、$\tau_1(x),\tau_0(x)$ を推定、最終的に両者を傾向スコアに応じて加重平均して $\tau(x)$ を得ますcausalml.readthedocs.io。データ不均衡（処置群・対照群のサイズ差）が大きい場合に有効とされています。

• R-learner: Nie & Wager (2018) により提案。causalml.readthedocs.ioまず任意の方法で $\hat{m}(x)=E[Y\mid X=x]$（全体の予測）と $\hat{e}(x)$ を推定し、残差を用いて以下の損失を最小化することで直接 $\tau(x)$ を学習しますcausalml.readthedocs.io:

  $$\min_\tau \frac{1}{n}\sum_{i=1}^n \Big[\big(Y_i – \hat{m}^{(-i)}(X_i)\big) – \big(W_i – \hat{e}^{(-i)}(X_i)\big)\tau(X_i)\Big]^2\,,$$

  ここで $\hat{m}^{(-i)},\hat{e}^{(-i)}$ はサンプル $i$ を除いて学習された推定値（交差適合）ですcausalml.readthedocs.io。R-learnerは機械学習モデルをこの目的で訓練することで、他のメタ学習者より安定的かつ高精度にCATEを推定できることが報告されています。

適用ユースケース: これらメタ学習アプローチはパーソナライズド施策の効果推定に適しています。マーケティングでは顧客ごとにキャンペーンの増分効果を予測し、効果の大きい顧客にのみアプローチする（アップリフト・モデル）en.wikipedia.orgのに利用されます。また医療分野でも、ある治療がどの患者に有効か（異質な治療効果）を推定する研究に用いられています。金融では顧客セグメントごとの介入効果分析にも応用できます。

利点:

• 柔軟性: ベースとなる回帰モデルに任意の機械学習手法（木, アンサンブル, NNなど）を使用可能で、非線形かつ高次元の特徴量から個別効果を学習できます。

• 異質性の検出: 群別や個人別の効果の違いを捉えられるため、どのサブグループに処置の効果が高いか/低いかを明らかにできます。マーケティングのターゲティング最適化に有用です。

• S-,T-,X-はいずれも実装が比較的簡単（既存の予測モデルを活用）であり、既存の機械学習パイプラインに組み込みやすいです。

限界:

• データ要件: 個別効果を高精度に推定するには大量のデータが必要です。特にT-learnerやX-learnerではデータを分割して学習するためサンプル効率が低下します。

• モデル依存性: 予測モデルの学習バイアスがそのまま効果推定に影響します。過剰適合の制御や交差検証など慎重なモデル管理が必要です。

• 解釈性: 得られた $\tau(x)$ の解釈には注意が必要です。ブラックボックスモデルを用いた場合、どの特徴が効果の大小に寄与しているかの説明が難しい場合があります。

他手法との比較・使い分け: メタ学習者は二重ロバスト推定とは目的が異なり、平均効果ではなく条件付き効果（ユーザ個別の増分効果）の推定に焦点があります。例えば平均的なキャンペーン効果は小さくても、一部のセグメントでは大きなプラス効果がある場合、メタ学習アプローチでそのセグメントを特定できます。PSMやIPTWがATEの推定であるのに対し、メタ学習者はCATEの推定で補完的です。また後述のUpliftモデリング（アップリフトツリーなど）は、メタ学習の考え方を決定木ベースの分割に適用したものであり、これらと同様の目的を持ちます。どのメタ学習者を使うかはデータ規模や処置群・対照群のバランスによります。一般に、データ量が十分ならX-learnerやR-learnerが精度面で有利とされますが、シンプルさではS/T-learnerが勝ります。

コード例: Pythonの因果推論ライブラリを用いるとメタ学習者を簡便に適用できます（例：Uber社の causalml パッケージcausalml.readthedocs.io）。以下は簡単な疑似コード例です。

from causalml.inference.meta import BaseXClassifier
model = BaseXClassifier()  # X-Learnerの分類問題向け実装
treatment = (df['group']=='treatment').astype(int)
y = df['outcome']
X = df.drop(['group','outcome'], axis=1)
model.fit(X, treatment, y)
cate_pred = model.predict(X)  # 各サンプルの推定CATE

アップリフト・モデルと因果決定木 (Uplift Modeling, Causal Tree/Forest)

定義と背景: アップリフト・モデリングとは、「ある個体に処置を行った場合に結果がどれだけ増減するか」を直接予測する手法群ですen.wikipedia.org。特に決定木ベースのモデルが多く提案されており、Susan Atheyらによる因果森林 (Causal Forest) や、マーケティング分野で用いられるUpliftツリーが知られます。標準的な決定木は予測誤差の最小化で分割を選びますが、因果決定木では処置効果の不均一性が最大となるような分割基準（例えば処置群と対照群のアウトカム差の統計量）を用いますcausalml.readthedocs.io。こうして木の各葉において推定処置効果ができるだけ均質になるようデータを区分し、個別効果を推測します。

適用ユースケース: アップリフトモデルはマーケティングでのキャンペーン最適化に広く使われていますen.wikipedia.orgen.wikipedia.org。例えば、ある広告に反応して購買する可能性が増える顧客を事前に予測し、その顧客だけに広告を配ることでコスト効率を高めるといった用途ですen.wikipedia.org。医療分野でも、患者特徴から治療の有効性が高い層を見つける個別化医療の文脈で因果森林が用いられています。金融ではクロスセル/アップセルの効果を高めるターゲティングなどに応用されています。

利点:

• セグメントの明示: 決定木モデルにより効果が大きい/小さい集団の特徴をルール形式で提示できます。例えば「若年層かつ過去購入履歴ありの顧客ではキャンペーン効果が高い」といった知見を得られます。

• 非線形かつ高次の相互作用を自動で探索でき、効果が複雑に変化する場合にも対応可能です。

• ランダム森林に拡張（複数の因果木をアンサンブル）することで、精度向上と安定性確保が図れます（AtheyらのCausal Forestはその例です）。

限界:

• 決定木特有の過適合リスクや分割ルールの恣意性があります。特にアップリフトツリーは通常の木よりデータ要求が大きく、木が深くなりすぎると信頼性が低下します。

• 検定の多重性の問題：効果の有意差に基づき分割を繰り返すと偽陽性の分割が増える可能性があり、慎重な正則化（例えば早期停止や最小葉サイズの設定）が必要です。

• 介入効果の評価にはランダム化データが必要になるため、非ランダム割当のデータでは適用が難しい（マーケティングでも常にテストグループとコントロールグループの設定が必要）。

他手法との比較・使い分け: アップリフトモデルは本質的にメタ学習アプローチ（特にT-learnerに近い）を一つのモデルで直接最適化していると見做せます。例えばKL情報量やカイ二乗などの基準で「処置と対照の結果の差が大きくなる」よう木を分割する手法が提案されていますcausalml.readthedocs.io。回帰型のメタ学習者に比べ解釈性が高く、ビジネス応用では好まれます。一方、推定精度では勾配ブースティング等を用いたメタ学習（X-learnerなど）の方が高い場合もあり、解釈性 vs. 精度のトレードオフで使い分けることが多いです。また政策評価など学術的用途では、因果森林による推定結果に対し信頼区間を付与する手法（例えば微分木に基づく推定）も開発されており、厳密な推定にはそうした手法が向きます。

代表例の数式: Athey & Imbensの因果ツリーでは、分割候補 $s$ に対し以下のような尤度比検定統計量 $LRT(s)$ を評価しますcausalml.readthedocs.io:

$$LRT(s) = -\frac{n_{L}(s)}{2}\ln \big(n_{L}(s)\,SSE_{L}(s)\big) \;-\; \frac{n_{R}(s)}{2}\ln \big(n_{R}(s)\,SSE_{R}(s)\big)\,,$$

ここで $SSE_L,SSE_R$ は左右の節それぞれでの処置効果推定の残差平方和です。この $LRT$ が最大となる分割を選ぶことで、処置効果の差異を最も説明する変数と閾値を見つけます。因果森林ではこうした木を多数育成し平均することで $\hat{\tau}(x)$ の推定を行います。

因果効果推定アルゴリズムの比較まとめ

上記で述べた観察データを用いる因果推論手法について、特徴を簡潔にまとめます。

上記の他にも、差分の差分法 (DiD) や シンセティックコントロール のような時系列・パネルデータを用いた準実験的手法があります。次にそれらを紹介します。

差分の差分法 (Difference-in-Differences)

定義と背景: 差分の差分法（DiD）は、時間的な変化を利用して介入の因果効果を推定する準実験デザインです。処置群と対照群の事前-事後の変化量の差を比較することで、共通の時間トレンドを差し引き因果効果を識別しますpublichealth.columbia.edu。キーとなる仮定は平行トレンド仮定で、「介入が無ければ両群の平均アウトカム差は時間経過で一定である」というものですpublichealth.columbia.edu。この仮定の下で、対照群の変化が処置群の反事実を表すと考えます。

適用ユースケース: 政策介入や制度変更の効果分析によく用いられます。例えば、ある州のみで導入された新政策の経済指標への影響を、導入されなかった他州との時系列データで評価する、といったケースです。マーケティングでも、特定期間に実施したキャンペーンの売上増加効果を、非実施期間との差で推定する際に使われます。医療分野では新ガイドライン導入前後で患者アウトカムがどう変化したかを非導入施設と比較する研究などで活用されます。

利点:

• 未観測の定常差を差分で排除: 両群間に介入に無関係な恒常的差異があっても、事前と事後で差を取ることでその影響を除去できますpublichealth.columbia.edu。

• 実験が困難な大規模政策の評価に現実的に適用でき、多数の分析で実績があります。平行トレンドが妥当なら因果効果の推定が比較的シンプルです。

限界:

• 平行トレンド仮定は検証不能であり、もし違反すると推定はバイアスを受けますpublichealth.columbia.edu。例えば処置群だけに影響する他要因が時同じくして変化した場合、DiDはそれを区別できません。

• 処置群・対照群の選択が恣意的だったり異質すぎたりすると結果の信頼性が低下します。マッチングと組み合わせて平行トレンドがより成り立ちやすい組を選ぶこともあります。

• 時系列データの長期トレンドや季節性など、単純な二時点比較では扱えない要素がある場合は拡張モデルや多期間DiDが必要です。

他手法との比較: DiDはパネルデータで因果推論する際の基本手法で、単一時点のPSM等では除去できない時間に起因する交絡に対処できます。ただし、逆に言えば時間以外の交絡除去は苦手なので、DiD前後でPSMを行う「マッチドDiD」など組み合わせも用いられます。シンセティックコントロール（後述）は、DiDの対照群をデータ駆動で構成する発展版と位置付けられますmedium.com。平行トレンド仮定が怪しい場合や対照群選択に迷う場合は、シンセティックコントロールが代替となります。

数式表現: シンプルなDiDは回帰モデルで以下のように実装できますpublichealth.columbia.edu:

$$Y_{it} = \beta_0 + \beta_1 \mathbf{1}\{t=\text{post}\} + \beta_2 \mathbf{1}\{i\in T\} + \beta_3 [\mathbf{1}\{t=\text{post}\}\times \mathbf{1}\{i\in T\}] + \varepsilon_{it}\,,$$

ここで $\mathbf{1}{i\in T}$ は処置群インジケータ、$\mathbf{1}{t=\text{post}}$ は事後期間インジケータです。交互項の係数 $\beta_3$ がDiD推定量（処置の因果効果）に対応しますpublichealth.columbia.edu。

シンセティック・コントロール (Synthetic Control)

定義と背景: シンセティックコントロール法は、処置が施された対象（例: ある都市や組織）に対し、複数の対照候補から重み付け線形結合を作って「合成対照群」を構成し、その対象が受けなかった場合の反事実を推定する手法ですmedium.com。Abadieらによる2003年の提案以来、政策評価などで定着していますmixtape.scunning.com。直観的には、「対象に一番似た挙動を示す対照集団」をデータから自動構成し、その差分から介入効果を測る方法です。

適用ユースケース: 単一の対象への介入効果を評価したい場合に適しています。例えば、一つの国だけが採用した政策のGDPへの影響mixtape.scunning.com、ある都市に開通した鉄道の不動産価格への影響などです。マーケティングでは、一地域のみで先行実施したキャンペーンの効果を他地域データから合成対照を作って測定する、といったケースがあります。金融ではある市場へのショック（例: 天災による市場停止）がその国の株価指数に与えた影響を、他国指数の組合せから推定する用途なども考えられます。

利点:

• 客観的な対照群構成: 分析者の恣意に頼らずデータ駆動で最適な対照群を構築できるため、バイアスのない比較が可能になりますmedium.com。

• 視覚的に効果を示しやすい（介入前は処置対象と合成対照の系列が密接に重なり、介入後に乖離する様子をプロットで示せる）。これにより結果の説得力が増します。

• 対照候補が多次元の特徴を持つ場合でも、自動で最適重みを解くため、多変量なマッチングとして機能します。

限界:

• 対象が1つであるため統計的検定の容易さに欠けます。プラシーボ検証（他の対照で偽介入してみる）やランダム化推論で効果の有意性を評価する必要があります。

• 合成対照が十分再現良く作れない場合（例えば処置対象があまりに特異で他から組み合わせても似ない場合）、推定は信頼できません。

• 手法の性質上、介入対象が少数（典型的には1つ）である状況に限られ、平均的な処置効果よりもケーススタディ的な分析に向いています。

他手法との比較: シンセティックコントロールは基本的に「高度なマッチング/重み付けによるDiD」とも言えますmedium.com。従来なら似た対照を人手で選んでDiDしていた場面で、データに基づき合成対照を自動構築します。PSMやIPTWが個票データレベルでのマッチングなのに対し、シンセティックコントロールは集団レベルの時系列データに適用されます。十分な対照群がない場合には適用できず、またパネルデータ全体での構造推定ではなくあくまで対象固有の効果推定に特化しているため、複数対象の平均効果を求めるには各対象について個別に分析する必要があります。

数式メモ: 例えば処置対象 $J+1$ 番に対し、合成対照は各対照単位 $j=1,…,J$ に重み $w_j$ を割り当てて構成します。重みは介入前のアウトカム $Y_{jt}$ について $\sum_{j=1}^J w_j Y_{jt} \approx Y_{J+1,t}$（$t$ は介入前期間）となるように選ばれますmatheusfacure.github.io。介入後はこの線形結合から逸脱した $Y_{J+1,t} – \sum_j w_j Y_{jt}$ が処置効果の推定値となります。

以上、観察データに基づく因果推論アルゴリズムを概観しました。次に、オンライン実験など逐次的な意思決定で活用されるバンディットアルゴリズムについて整理します。

オンライン因果推論と多腕バンディットアルゴリズム

ビジネスの現場では、試行錯誤を繰り返しながら最適な施策を学習していく状況が多く存在します。多腕バンディット問題は、こうした探索 (exploration) と 活用 (exploitation) のトレードオフを定式化した古典的課題ですlilianweng.github.io。例えばウェブサイト上で複数の広告バナーのうちどれが最もクリック率が高いかを、試行しつつ最適化していくようなケースが典型ですgeeksforgeeks.org。バンディットアルゴリズムは、この問題を解くために提案された一連の手法で、限られた試行回数の中で累積報酬（クリック数や売上など）を最大化することを目指しますlilianweng.github.io。

多腕バンディット問題では「腕（アーム）」と呼ばれる選択肢が $K$ 個あり、各腕を選択すると確率的な報酬が得られますlilianweng.github.iogeeksforgeeks.org。報酬分布のパラメータは未知であるため、各腕を試して推定しつつ最も報酬の高い腕を多く引かなければなりません。このジレンマへの典型解として以下のアルゴリズムが広く知られていますoptimizely.com。

import random
epsilon = 0.1
Q = [0.0]*K  # 各腕の報酬平均推定
N = [0]*K    # 各腕の選択回数
for t in range(1, T+1):
    if random.random() < epsilon:
        arm = random.randrange(K)         # 探索: ランダムに選択
    else:
        arm = max(range(K), key=lambda i: Q[i])  # 活用: 現状で期待値最大の腕
    reward = pull(arm)  # 実際に腕を引いて報酬観測
    N[arm] += 1
    # 報酬平均の逐次更新
    Q[arm] += (reward - Q[arm]) / N[arm]

UCBアルゴリズム (Upper Confidence Bound)

アルゴリズム概要: UCBは**「楽観主義による探索」**の思想に基づく手法ですoptimizely.com。各腕について、これまでの平均報酬推定値に「信頼上限幅」を加えた指標UCB値を計算し、その値が最大の腕を選びますmedium.com。信頼幅は観測回数が少ない腕ほど大きく、試行回数が少ない腕を自動的に優先して試す仕組みになっています。典型的なUCB1アルゴリズムでは次の式を用いますmedium.com:

$$\text{UCB値}_i \;=\; \bar{X}_i + c\,\sqrt{\frac{2\ln t}{\,n_i\,}}\,,$$

ここで $\bar{X}_i$ は腕 $i$ の現在までの平均報酬、$n_i$ は腕 $i$ を引いた回数、$t$ はこれまでの総試行回数、$c$ は調整パラメータです。直感的には $\sqrt{\frac{2\ln t}{n_i}}$ が「観測不確実性」に対応し、試行回数 $n_i$ が少ない腕は上限値が高めに見積もられます。

適用ユースケース: UCBはその理論的性能の保証から、WEBテストや広告最適化など幅広く用いられます。例えばニュースサイトでの記事配置を逐次最適化する場合、よくクリックされている記事は $\bar{X}_i$ が高く、まだ表示されていない記事は $n_i$ 小さいため信頼幅が大きく算出され、バランス良く試行できます。医療の適応型治験でも、副作用が少ない未知の投薬を試すバランスなどに用いられます。

利点:

• 理論解析により後悔 (regret)が対数オーダー $O(\ln T)$ に抑えられることが示されています（Lai & Robbins 1985）。つまり試行回数が大きくなっても損失の増え方が緩やかです。

• パラメータのチューニングが少なく（基本的に $c$ のみ）、$\varepsilon$-greedyより自動調整的に探索と活用を両立します。

限界:

• 初期段階では全腕を一度ずつ試すなどのウォームアップが必要です。$n_i=0$ の場合UCB値の式が定義できないため、実装では各腕を最初は1回ずつ引いておくのが通例です。

• 問題設定によっては $\sqrt{(2\ln t)/n_i}$ という形式が最適でない場合もあります。特に報酬分布の分散が大きく信頼幅調整が難しい場合、収束が遅くなることがあります。

• UCBは決定論的な選択を行うため、実装上すべてのユーザに同一の挙動を示すと競合テストに影響を与える場合があります（とはいえ、多くの場合問題にはなりません）。

他手法との比較: $\varepsilon$-greedyが経験論的なのに対し、UCBは統計的仮定（Hoeffding不等式等）に基づく厳密な上限で探索を制御します。そのため平均的にUCBの方が後悔が小さく効率的です。一方で、後述のThompson Samplingと比べると、UCBは非ベイズな枠組みゆえ拡張が難しい場合があります（例えばコンテキスト情報の非線形効果を取り入れにくい）。近年では両者の性能差は問題によるとも言われ、実務では実験的に選択されます。

コード例 (UCB1擬似コード):

import math
counts = [0]*K
values = [0.0]*K
for t in range(1, T+1):
    if 0 in counts:
        arm = counts.index(0)  # まずは各腕を1回ずつ試す
    else:
        ucb_values = [values[i] + math.sqrt(2*math.log(t) / counts[i]) for i in range(K)]
        arm = max(range(K), key=lambda i: ucb_values[i])
    reward = pull(arm)
    counts[arm] += 1
    # 移動平均で報酬値を更新
    values[arm] += (reward - values[arm]) / counts[arm]

ベイズ的確率値探索 (Thompson Sampling)

アルゴリズム概要: Thompson Sampling（トンプソン・サンプリング）はベイズ推論に基づく確率的な手法です。各腕の真のパラメータ（例: 勝率）が事前分布で表され、試行ごとに事後分布からサンプリングして最も大きなサンプル値を示した腕を選択しますmedium.com。例えば報酬がベルヌーイ分布（成功/失敗）なら、各腕の成功率にBeta分布の事前を置き、成功/失敗観測に応じて事後分布（Beta）を更新しますmedium.com。次に各腕のBeta分布からランダムに成功率をサンプルし、一番値が高かった腕を引くという流れです。

適用ユースケース: Thompson SamplingはWebのリコメンドや広告配信システムで実装され実績があります。特にインターネット広告の分野では、GoogleやMicrosoftがオンライン学習に採用した例があります。医療分野でも順応的治験でベイズ手法が好まれるケースではThompson Samplingが自然に適用できます。金融アルゴリズム取引で複数戦略の中から収益率の高いものを引き当てる問題など、様々な領域で利用可能です。

利点:

• 理論上最適に近い探索性能を示すことが知られており、様々な研究でUCBと同等あるいは優れた実績を示しています。後悔も対数オーダーで抑えられます（元の証明は近年の分析によります）。

• 実装が比較的容易で、ベイズ更新ができれば自然な確率的アルゴリズムとして理解できますmedium.com。

• コンテキストなど追加情報の統合がベイズモデルの拡張として行いやすく、複雑な問題設定への適応性があります。

限界:

• ベイズ事前分布の選択に敏感な場合があります。不適切な事前は収束を遅らせる可能性があります。

• UCBと違い確率的に行動するため、結果の再現性確保やトラッキングに注意が必要です。ただし大数の法則的に長期では平均化されます。

• 問題規模が大きく（腕が多数、複雑な事前）なると計算資源の制約が出ることがありますが、モンテカルロなどで近似可能です。

他手法との比較: Thompson Samplingは確率的割当により理論解析が後から確立した手法で、しばしば実践での良好な性能が報告されていますmedium.com。UCBと異なり、内部で報酬分布の全体像をサンプルして行動するため、「最適腕である確率に比例した試行回数」となる性質を持ちますen.wikipedia.org。直感的には、「各腕が最適であるという信念に比例してその腕を引く」ため、真に最適な腕には自然と多くの資源が割かれますen.wikipedia.org。そのため探索と活用のバランスが自動調整される点が魅力です。実験ではUCBとほぼ拮抗することも多く、問題によってどちらが良いかはケースバイケースです。ただ、コンテキストの扱いやモデル拡張のしやすさからThompson Samplingを好む向きもあります。

代表的なコード例: ベルヌーイバンディットに対するThompson SamplingのPython風擬似コード:

import numpy as np
alpha = [1]*K
beta = [1]*K
for t in range(1, T+1):
    # 各腕からベータ分布に従い確率をサンプリング
    theta = [np.random.beta(alpha[i], beta[i]) for i in range(K)]
    arm = np.argmax(theta)  # 最大のサンプル値を持つ腕を選択
    reward = pull(arm)
    # ベータ事後の更新：成功ならalpha、失敗ならbetaを増加
    if reward == 1:
        alpha[arm] += 1
    else:
        beta[arm] += 1

この例では事前 $\text{Beta}(1,1)$（一様分布）から始め、成功/失敗を観測するごとに対応するパラメータを更新しています。Thompson Samplingは常にランダム性を伴うため、長期的には報酬最大化と探索を両立します。

コンテキスト・バンディット (Contextual Bandit)

定義: コンテキスト・バンディットは、上記バンディット問題において各試行ごとに**文脈（コンテキスト）**情報が与えられる設定ですoptimizely.com。例えばニュース記事推薦では、そのときのユーザ属性や行動履歴（コンテキスト）に応じて最適な記事（腕）が異なる可能性があります。コンテキスト・バンディットでは、単純なバンディットの「腕選択」に加え、「コンテキスト $\to$ 腕」の依存関係も学習しますen.wikipedia.org。

アルゴリズム例: コンテキスト・バンディットの代表手法としてLinUCB（線形UCB）がありますen.wikipedia.org。LinUCBでは、各腕の報酬期待値をコンテキストの線形関数でモデル化し、線形回帰の信頼区間に基づくUCBを計算しますen.wikipedia.org。他にも、コンテキストを組み込んだThompson Sampling（線形ベイズ回帰で事後サンプリング）や、ポリシーを学習する手法（ポリシー最適化）もあります。要するに**「状況に応じて最適な腕が異なる」**ケースにバンディットを適用するための拡張です。

適用ユースケース: パーソナライズが重要なレコメンドシステムや広告配置、あるいは医療で患者ごとに最適な治療を逐次学習する問題など、文脈依存の最適化に広く用いられます。例えばNetflixのアートワーク最適化ではユーザの嗜好コンテキストに応じて最適なサムネイル画像を選ぶ問題がコンテキスト・バンディットとしてモデル化されていますmedium.com。

利点:

• ユーザや状況に合わせてパーソナライズされたアクションを学習できます。従来のバンディットよりきめ細かい最適化が可能です。

• 理論的にもコンテキストがあることで効率が向上する場合が多く、より早く収束することが期待できます（正しいモデルを仮定できれば）。

限界:

• コンテキストの次元が高いと学習が難しくなります（次元の呪い）。線形モデルでは性能が出ない場合、カーネルUCBen.wikipedia.orgやランダムフォレスト型手法en.wikipedia.orgなど高度なモデルを用いる必要があります。

• モデルのミス指定があると、コンテキストの無い場合よりも深刻なバイアスとなり得ます。例えば本当は非線形な関係を線形UCBで近似すると、最適腕判定が誤る可能性があります。

他手法との比較: コンテキスト無しバンディットは全ユーザ一様に試行錯誤するのに対し、コンテキスト・バンディットはパーソナライズ探索です。ある意味、前述の因果推論におけるCATE推定に対応する概念で、ユーザ特徴に応じて異なる最適施策を学ぶ点で共通していますen.wikipedia.org。実装面では強化学習の手法にも近く、コンテキストを状態と見立てたバンディットは「1ステップの強化学習」と言えるでしょう。強化学習全般（状態遷移もあるマルコフ決定過程）ほど複雑ではないため、理論と実用のバランスが良い設定として研究・応用が盛んです。

バンディットアルゴリズムの比較まとめ

最後に、多腕バンディット問題に対する主要アルゴリズムについて、その特徴を簡潔にまとめます。

※Exp3は敵対的バンディット問題（報酬が確率分布でなく逐次変化する設定）のアルゴリズム例です。通常のマーケティングや医療応用では報酬分布が安定していると仮定できるため、上記の確率的手法（$\varepsilon$-greedy, UCB, Thompson Sampling）が使われます。一方、高頻度取引など環境が変化し得る金融領域ではExp3のようなアルゴリズムも研究されています。

おわりに

本稿では、因果推論の各種アルゴリズムと多腕バンディットアルゴリズムについて、定義・背景から利点・限界まで専門的に整理しました。マーケティング、医療、金融と例を挙げたように、因果機械学習とバンディット最適化の手法群は多分野で活用され、データサイエンティストにとって強力な武器となっています。適切な手法を選択する際には、分析目的（平均効果か個別効果か、オフライン観察データかオンライン介入か） や データ特性（交絡因子の有無、時間変化の有無、データ量など） を考慮することが重要です。それぞれのアルゴリズムの前提条件と特徴を踏まえ、適材適所で使い分けることで、より信頼性の高い因果推論と効率的な実験最適化が実現できるでしょう。

因果推論 & バンディット――最速サバイバルガイド

最低限の選択フロー

1. データがオフラインかオンラインか

   • オフライン → 因果推論系

   • オンライン → バンディット系

2. 目標は平均効果か個別効果か

   • 平均 → PSM/IPTW → 精度不足なら AIPW/TMLE

   • 個別 → メタ-ラーナー or 因果森林

3. 時間軸や外生 Shock が鍵なら

   • パネル時系列 → DiD / シンセティック

   • 強い外生変数あり → IV

4. オンラインでユーザ特徴が効くか

   • 特徴なし or 少 → UCB / Thompson

   • 特徴豊富 → コンテキスト・バンディット

覚え書き

• 「交絡は観測できるか」「真の割当は外生か」「リアルタイムに試せるか」の３質問でほぼ絞れる。

• 精度と説明性はしばしばトレードオフ。経営向け資料ならマッチング/DiD、実装優先なら二重ロバスト＋メタ学習が現代の主流。

「こんな場面ではコレ！」ユースケース別・アルゴリズム早見カタログ

ルールは3つだけ

1. データが過去ログだけ？ → オフライン因果推論

2. 平均効果が知りたい？個別効果が知りたい？

3. リアルタイムに試せる？ → バンディット最適化

下の具体例で“映像が浮かぶ”ようにイメージしてみてください。

1️⃣ オフラインで「平均的に効いたか？」を知りたい

2️⃣ オフラインで「誰に効く？」を知りたい（個別効果/CATE）

3️⃣ リアルタイムで「試行錯誤しながら最適化」したい（バンディット）

4️⃣ ハイブリッド活用の実例