GLOSSARY
知识蒸馏
训练一个更小更快的模型去模仿大模型——以极低的运行成本保留大部分质量。
蒸馏模型不只从人类文本学习，还从更强“教师”模型的输出中学习——吸收其判断力、风格与边角案例。学生模型随后能以数倍速度、数分之一成本运行，这就是各家产品能用低延迟提供“mini”“flash”档位的原因。
代价是知识收窄：蒸馏出的学生在教师见过的长尾场景上更弱。蒸馏也处于行业争论的中心——多家供应商的服务条款限制用自家输出训练竞品，这让“蒸馏前沿模型”从工程词汇变成了法律问题。
GLOSSARY
训练一个更小更快的模型去模仿大模型——以极低的运行成本保留大部分质量。
蒸馏模型不只从人类文本学习，还从更强“教师”模型的输出中学习——吸收其判断力、风格与边角案例。学生模型随后能以数倍速度、数分之一成本运行，这就是各家产品能用低延迟提供“mini”“flash”档位的原因。
代价是知识收窄：蒸馏出的学生在教师见过的长尾场景上更弱。蒸馏也处于行业争论的中心——多家供应商的服务条款限制用自家输出训练竞品，这让“蒸馏前沿模型”从工程词汇变成了法律问题。