オープンソースLLMを軽く賢くする知識蒸留の極意

〜実用モデル構築のための最適プロセスと性能向上結果〜 🧠✨

https://doi.org/10.48550/arXiv.2504.15027

https://huggingface.co/alibaba-pai

背景｜なぜいま知識蒸留なのか？

大規模言語モデル（LLM）は、業務活用の中心技術として定着しつつあります。

特に翻訳、要約、チャットボット、コーディングアシスタントなど、
多くの場面で商用APIが利用されているものの、

• 運用コストが高すぎる

• 応答内容の制御が難しい

• 独自ドメインに特化させにくい

といった問題から、自社で軽量なモデルを保有・活用するニーズが急増しています。

このような背景の中、**大きなLLMから小型モデルに知識を継承する「知識蒸留」**が再注目されています。

知識蒸留とは？

〜巨大モデルの“賢さ”をそのままに、軽さと制御性を両立〜

知識蒸留（Knowledge Distillation）は、**高性能な教師モデル（Teacher）**の出力を用いて、**より小さく軽量な生徒モデル（Student）**を学習させる手法です。

モデルサイズを抑えながらも精度を維持・向上できるため、リソース制約のある環境でも実用に耐え得る構成が可能になります。

ここで重要なのは、
単なるモデル圧縮ではなく、**「学習の転写」**である点です。

以下の2つの代表的な蒸留タイプが存在します。

ブラックボックス蒸留 🕶️

• 教師モデルの出力のみを用いて学習

• 教師の中身（アーキテクチャや重み）には非アクセス

• ChatGPTやClaudeなど、クローズドAPIを活用可能

例：「ChatGPTから生成されたQAペアを使って、生徒モデルを学習」

ホワイトボックス蒸留 📖

• 教師モデルの内部状態（ロジット、attentionなど）まで活用

• より細かい表現や判断の根拠を引き継げる

• 高精度だが、計算リソースや設計難易度が高い

例：「Qwen2.5のAttention mapを解析し、生徒に再現学習」

方法の紹介｜ブラックボックス蒸留の4エージェント設計

現場導入を想定したブラックボックス蒸留では、
以下の4つのエージェント的プロセス設計が鍵になります。

① 拡張エージェント：指示の多様性を拡げる 🎯

「初心者にもわかるように説明して」「一言でまとめて」など、
同じ意味でも異なる言い回しのプロンプトを大量生成します。

これにより、生徒モデルは表現の柔軟性と文脈適応力を高められます。

② 書き換えエージェント：意味を変えずに言い換える 🔄

意味的には同一のまま、表現を変更。
例：「この法律の目的を説明してください」→「この法の背景について教えてください」

さらに、推論タスクではChain-of-Thought形式を用い、
論理展開力や中間ステップの推測力を育成します。

③ 選択エージェント：有効な学習データを選び抜く 🔍

教師モデルが生成したすべての応答を使うのではなく、

• 情報の密度

• 汎用性

• ノイズ除去

といった基準で学習価値の高いペアだけを選別します。

これにより、学習効率と精度向上を同時に実現します。

④ 検証エージェント：出力の正確性を担保する 🧪

蒸留データの中には、表面的に自然でも事実と異なるケースが含まれます。

• 文献照合

• 検証モデルによる評価

• 人手によるアノテーション確認

などを通じて、事実性と整合性を高めたクリーンデータを使用することが肝要です。

蒸留効果の検証｜AlpacaEval 2.0 / IFEvalによる定量評価 🧮

研究では、Qwen2.5（18Tトークン学習済み）の蒸留版を評価。

• AlpacaEval 2.0（指示・長さ制御付き）

• IFEval（Instruction-Following能力評価）

という最新のベンチマークスイートで性能を計測。

その結果、パラメータを抑えつつも90%以上の性能を保持していることが明らかに。

モデルサイズにして約1/5の軽量化にも関わらず、
以下の特性はほぼ同等に再現：

• 応答の一貫性

• 推論文の整合性

• 質問応答精度（F1スコア）

ホワイトボックス蒸留とは？

〜モデルの“判断の裏側”まで学ばせる高度な手法〜 🔍📊

ブラックボックス蒸留だけでも、十分実用レベルの小型LLMは構築可能です。

しかし、さらに一歩踏み込んだ精度や応答の一貫性を求める場合、
教師モデルの出力分布そのもの——つまりロジット（確率分布）を活用するホワイトボックス蒸留が有効になります。

ロジット活用による精緻な学習

ホワイトボックス蒸留では、単に「何を答えたか」だけでなく、

• どのように答えを選んだか

• どの選択肢にどれだけの確信を持っていたか

といった推論プロセスの裏側そのものを、生徒モデルに伝達します。

その結果、モデルは単純な模倣を超えて、判断力の質そのものを学べるようになります。

課題と解決策：上位トークン抽出とオフライン生成 🧠⚙️

とはいえ、全トークンの出力分布をすべて扱うのは極めて計算負荷が高く、
特に教師モデルが30B〜70Bクラスの場合、現実的なコストでは難しくなります。

そこで有効なのが、**「上位10トークン程度に絞って学習」**という手法です。

このやり方により、必要な情報は残しつつ、冗長な計算を回避できます。
また、教師モデルのロジットを事前にオフラインで生成・蓄積しておけば、
訓練時のメモリ消費やレイテンシも大幅に軽減されます。

ブラック＆ホワイトの融合戦略 🧬

〜段階的蒸留で、軽さと精度を両立する〜

大規模モデルの知識をどう活かすかに正解はありません。
重要なのは、**「目的と環境に応じた段階的な蒸留」**です。

• まずはブラックボックス蒸留で基盤となる学習を行い、

• その後、ホワイトボックス蒸留で精緻な部分を磨き上げる

という流れが、安定性と効率性を両立するうえで現実的です。

DistilQwen2.5シリーズの誕生

〜段階的蒸留アプローチの成功事例〜 🚀

研究チームは、Qwen2.5シリーズをベースに、**軽量かつ高性能な生徒モデル群「DistilQwen2.5」**を構築しました。

以下の2段階アプローチで開発が進められました：

1. ブラックボックス蒸留
   クローズドLLM（ChatGPT等）を活用し、プロンプト拡張・出力収集・選別によって大規模な教師データを生成。

2. ホワイトボックス蒸留
   教師モデルのロジット（上位トークン）を活用し、出力の確信度を反映した微調整を実施。

このような段階的蒸留設計により、小型モデルでも大規模モデルに近い応答品質を実現することに成功しました。

実験評価｜DistilQwen2.5はどこまで使えるのか？🔬

実験環境とモデル構成

• 生徒モデル：Qwen2.5ベース
  　0.5B / 1.5B / 3B / 7B の4モデル

• 教師モデル：Qwen2.5-Instruct 14B / 32B / 72B

• 使用GPU：NVIDIA A800 × 8基（80GB）

• 学習率：1e-5、エポック数：3

※ この学習環境は大規模ですが、蒸留済みモデルの活用や少数再学習など、中小企業にも応用可能な導入方法があります。詳細は応用セクションで解説します。

評価ベンチマーク

使用された主要ベンチマークは以下の通り：

• AlpacaEval 2.0：長さ制御付きの指示応答性能

• MT-Bench：単一ターン／多ターン会話での適応力

• IFEval：実践的対話での柔軟性と事実性

蒸留によるパフォーマンス改善 📈

小型モデルほど恩恵が大きい！

• 0.5Bモデル：蒸留前の性能を最大で+40%以上改善

• 3Bモデル：7Bに迫る性能を実現し、推論速度は約1.7倍高速化

• 7Bモデル：従来手法と比較して、ロジット生成速度が最大5倍向上

タスク別傾向（MT-Benchより）

• 数学や論理推論など高度タスクでの改善が顕著

• 多ターン対話でも文脈保持力が安定

他モデルとの比較｜DistilQwen2.5のコストパフォーマンス 💸🔥

小型モデル市場での立ち位置

• 1.5Bモデル：Phi-3やLLaMA-2の3B相当の精度

• 3Bモデル：Mistralの7Bモデルに匹敵する応答品質

特に、1.5Bの性能対コスト比は群を抜いており、
オンプレミス構成やエッジデバイス上でも活用可能な点が高評価です。

蒸留設計の最適化指針 ⚙️

教師モデルのサイズ選び

• 32B → 効率と性能のバランスが最良

• 72B → 改善幅は小さくなる（逓減効果）

データ量とのバランス

• 10K〜100Kまでは性能向上が見込まれる

• それ以上はコスト増に対する効果が鈍化

→ 蒸留対象・GPUリソースに応じて、適切な教師・データ量の選定が重要

実務応用｜DistilQwen2.5を業務に使うシーン例 💼💡

ケース：SQL補完AIアシスタント

• 利用モデル：DistilQwen2.5-3B

• タスク：複雑な条件追加、JOINの補正提案、構文ミス修正

その結果：

• Pass@1指標で7Bモデルに肉薄

• レイテンシ約30%削減

• 採用率も3Bモデルで90%以上達成

→ コスト削減×品質維持を両立した好例といえます。

結論・まとめ｜知識蒸留は軽量LLM時代の必須技術へ ✨

✅ ブラックボックス蒸留だけでも高品質モデルを構築可能
✅ ホワイトボックス蒸留との段階的併用でさらなる精度UP
✅ 小型モデルほど蒸留効果が顕著
✅ 教師モデルのサイズやデータ量は「最適化」が鍵
✅ DistilQwen2.5は、業務導入の現実解として非常に有望