GLOSSARY
蒸留（ディスティレーション）
小さく高速なモデルに大きなモデルを模倣させる手法。実行コストを大幅に抑えつつ、大モデルの品質の多くを引き継ぎます。
蒸留モデルは人間のテキストだけでなく、より強い「教師」モデルの出力から学びます。その判断力・スタイル・エッジケースを吸収します。学生モデルはその後、数倍高速かつ安価に動き、各社が低レイテンシで「mini」「flash」級を提供できる理由です。
代償は知識の狭まりです。蒸留された学生は、教師が学習で見たロングテールに弱くなります。業界論争の中心でもあります。複数プロバイダの規約は自社出力での競合学習を制限し、「フロンティアモデルの蒸留」は工学用語から法的問題に変わりました。