GLOSSARY
过拟合
模型记住了训练样本而非学会模式——模拟考满分,遇到新题就脆。
过拟合是机器学习的经典失败:优化器找到了完全拟合训练集的捷径——连同其中的怪癖与噪声——而非底层规律。一个在训练集 100%、真实数据 60% 的微调分类器没有学到,只是背下了。标准防御是留出验证集、早停、正则化与更多样的数据。
这个概念如今解释着训练之外的失败:对基准数据过拟合的模型在 MMLU 上漂亮、在你的任务上糟糕;对评测套件过拟合的代理通过测试却没抓住重点。每当结果好得过分,第一个问题是“它记住了什么”,第二个是“给我看它没见过的数据”。