GLOSSARY
模型合并
把多个微调模型的权重合并为一个——无需再付一次训练成本即可融合技能。
同一基础模型的各个微调版本共享骨架,因此它们的权重可以被平均、任务算术或 TIES 合并为单一模型——一个文件同时携带多种技能(数学导师+程序员),零训练成本。开源社区频繁合并,mergekit 是标准工具包。
代价是干扰:相互冲突的技能会产生混乱的混合体,合并模型在基准上漂亮、用起来却变差的情况并不少见——评测仍然说了算。合并还带来模型血统与许可的开放问题,商用前应核查。
GLOSSARY
把多个微调模型的权重合并为一个——无需再付一次训练成本即可融合技能。
同一基础模型的各个微调版本共享骨架,因此它们的权重可以被平均、任务算术或 TIES 合并为单一模型——一个文件同时携带多种技能(数学导师+程序员),零训练成本。开源社区频繁合并,mergekit 是标准工具包。
代价是干扰:相互冲突的技能会产生混乱的混合体,合并模型在基准上漂亮、用起来却变差的情况并不少见——评测仍然说了算。合并还带来模型血统与许可的开放问题,商用前应核查。