GLOSSARY
数据策展
选择什么进入训练——过滤、去重与加权——在质量竞赛中如今与模型架构同等重要。
扩展时代的教训被反转:过了某个点,更好的数据胜过更多数据。前沿实验室如今在策展管线——质量分类器、去重、困惑度过滤、按领域混合权重——上的投入与架构相当。在策展数据上训练的小模型(Phi 系列、现代 SLM)让在原始爬取上训练的大模型难堪,决定性地证明了这一点。
策展超出训练:评测集策展决定你能测量什么,RAG 语料策展决定落地助手能知道什么。讽刺的是,策展是数据科学最古老的手艺换了新衣——但在基础模型规模上,它成了核心竞争护城河,而非预处理杂务。