GLOSSARY
サンプリングパラメータ
温度以外のダイヤル(top-p、top-k、ペナルティ)。モデルが単語を選ぶ方法を形どり、出力の多様性・焦点・繰り返しを調整します。
モデルは次に来るすべてのトークン候補に確率を出します。サンプリングパラメータはその確率をどう「選択」に変えるかを決めます。Top-p(核サンプリング)は累積確率が p に達する最有力候補だけを残して不条理な裾を切り、top-k は固定数を残し、繰り返し・出現ペナルティはループと使い古された表現を抑えます。
実務ではほとんどの製品が隠しており、チャットは既定値で十分です。重要になるのは構築時です。創作は緩い設定に耐えますが、抽出とコードは温度ゼロ近傍と厳しい top-p を求めます — 驚いてくれるモデルと、出荷できるモデルの違いです。