模型蒸馏

让大模型当老师，用它的输出训练一个更小的模型，把某一部分能力压进更小的体积里。

学校机房和教研组的电脑往往跑不动最大的模型。蒸馏让某个固定任务在普通硬件上稳定跑起来，是本地部署能落地的一条现实路径。

像名师带徒：把老师多年练出的判断方式教给学生，学生未必能赢过老师，但能在某一科上做得又快又稳。

把线上积累的答疑记录交给大模型生成规范答案，再用这批答案训练一个几亿参数的小模型，专门回答作业订正类问题；这类专用模型在固定任务上够用，运行成本也低得多。

• 误解：蒸馏出来的模型和大模型一样强。 事实：它通常只在特定任务上接近老师，通用能力和上限都要低一些。

• 误解：蒸馏需要大量人工标注数据。 事实：多数流程靠大模型自己生成答案加少量人工筛选，标注门槛比从零训练低得多。

• 误解：有了蒸馏就不用写提示词了。 事实：提示词仍决定日常使用的稳定性，两者是配合关系而不是替代关系。

• 误解：任何模型都能拿来当老师。 事实：老师本身在某个任务上不可靠时，蒸馏只会把错误一起传下去，样本质量是前提。

• 微调用特定领域的数据继续训练已有模型，让它固定掌握某种格式、口吻与任务模式，输出更稳定。
• 模型量化把模型里存放数字的位宽从高位宽降到低位宽，体积随之明显变小，跑起来也更省显存和内存。
• 大模型用海量文本训练出的巨型神经网络，靠「看着上文预测下一个词」生成连贯自然的文字。
• 开源与闭源闭源指权重不公开、只能走官方服务；开源指权重可下载，可本地部署或微调，按许可证约定使用。