学習（事前学習と事後学習）

事前学習が費用の大部分です。GPU クラスタで数か月、ウェブ規模のテキスト・コード・（近年は）画像から次トークン予測を学びます。でき上がるのは生の「ベースモデル」 — 続写は得意でも製品としては無力です。事後学習がそれを変えます。厳選された対話での教師ありファインチューニング、RLHF や DPO による人間の選好への整合、推論・コード・安全のための専門パス。だから「小さい」事後学習済みモデルが、より大きな生モデルを超えるのです。

フロンティアのベースモデルを一から学習する者はほぼいません — 五社のゲームです — 一方、事後学習は急速に民主化しています。オープンモデルはレシピ付きで公開され、公開チェックポイントのファインチューンは数百万ではなく数百ドル。ベンダーの「あなた用カスタムモデル」は、ほぼ必ず事後学習を指します。