GLOSSARY
過学習
パターンを学ぶ代わりに学習例を暗記してしまうこと。練習テストは完璧、新しいものには脆い。
過学習は機械学習の古典的な失敗です。オプティマイザが、根底の規則ではなく学習セットそのもの — その癖やノイズを含む — に適合する近道を見つけます。学習データで 100%、実データで 60% のファインチューン分類器は学んでおらず、暗記しただけです。標準的な防御はホールドアウト検証、早期停止、正則化、より多様なデータです。
この概念は今や学習を超える失敗も説明します。ベンチマークに過適合したモデルは MMLU では美しく、あなたのタスクでは悪い。eval スイートに過適合したエージェントはテストを通っても要点を逃します。結果が良すぎるとき、最初の問いは「何を暗記したのか」、次は「見たことのないデータを見せて」です。