Ideas worth a closer look
VIVA PARADOX.Independent stories, clearly told.
Viva Paradox · ZH-HANS

什么是 AI 模型蒸馏?面向 AI 团队的实用指南

Conceptual editorial artwork: 什么是 AI 模型蒸馏?面向 AI 团队的实用指南

AI 模型蒸馏是一种训练方法,用来让更小或更高效的模型模仿更大、更强或成本更高的模型中的有用行为。较大的模型通常称为教师模型,较小的模型称为学生模型。

如果团队想了解生产环境中的 AI 模型蒸馏是什么,简短的回答是:它是一种压缩和专门化策略。团队不必为每个请求都运行大型模型,而是可以用大型模型生成训练信号,再训练一个较小的模型来处理范围更窄、可重复的任务。其目标通常是降低延迟、降低运行成本、简化部署,或让行为更可预测。这些收益并不会自动出现;它们取决于任务、训练数据、评估方法和基础设施。

教师/学生这一表述来自奠基性论文《Distilling the Knowledge in a Neural Network》,该论文描述了如何将教师模型的输出用作训练信息,把大型模型或集成模型中的知识迁移到较小模型中。较新的平台示例也在特定任务场景中使用同样的基本思路。例如,OpenAI 对 API 中模型蒸馏的说明将其描述为使用较大模型的输出来微调较小模型;而微软的 AzureML 示例展示了一个与具体实现相关的教师/学生工作流。

对照参考答案评分,而不只看师生一致率

六个案例及两列输出均为作者编写的教学数据,并非真实模型响应。Billing表示账单,Access表示账户访问,Cancel表示取消。按ID顺序分别为重复扣费、密码重置链接过期、期满取消、索取账单、重置后无法登录、停止续费。本练习按表中的参考标签评分。

案例 参考标签 教师:虚构输出 学生:虚构输出
D1 Billing Billing Billing
D2 Access Access Access
D3 Cancel Cancel Billing
D4 Billing Billing Billing
D5 Access Billing Billing
D6 Cancel Cancel Cancel

教师与学生在5/6案例中一致。对照参考标签,教师正确5/6,学生正确4/6。D5是关键反例:两者虽然一致,却都把访问问题错分为账单问题。D3则是教师正确、学生错误。单独的一致率掩盖了这些差别。

这里没有训练实际学生模型,这些比例也不估计任何产品的性能。真实工单应先规定分类优先级和歧义处理规则。另设评估集,不把它放进提示词或训练数据;分别记录原始输出、格式错误、弃答、延迟和费用。参考标签有争议时,应明确规则或保留人工复核类别,而不是把模仿当成正确。

使用Python 3复现

代码仅使用标准库,不调用网络或模型。各语言使用相同练习标签。

def distillation():
    reference = ['Billing','Access','Cancel','Billing','Access','Cancel']
    teacher = ['Billing','Access','Cancel','Billing','Billing','Cancel']
    student = ['Billing','Access','Billing','Billing','Billing','Cancel']
    def matches(a, b):
        return sum(x == y for x, y in zip(a, b))
    print(f'agreement={matches(teacher, student)}/6')
    print(f'teacher_reference={matches(teacher, reference)}/6')
    print(f'student_reference={matches(student, reference)}/6')

distillation()

计算脚本运行结果

agreement=5/6
teacher_reference=5/6
student_reference=4/6

团队为何使用模型蒸馏

当大型模型在某项任务上表现良好,但直接用于生产环境并不理想时,蒸馏最有用。

常见动机包括:

  • 降低服务成本:根据部署环境和工作负载的不同,运行较小的学生模型可能比运行教师模型更便宜。
  • 降低延迟:紧凑型模型有时能更快返回结果,尤其适用于高流量或实时任务。
  • 简化部署:较小的模型可能更容易托管在资源受限的基础设施上。
  • 面向特定任务的行为:可以训练学生模型,使其专注于范围更窄的一组输入、标签或响应格式。
  • 提升运营一致性:对于重复性任务,蒸馏后的模型可能有助于将行为标准化,否则这些行为需要反复调用更大的模型。

需要特别强调的是“可能”。蒸馏并不能保证学生模型会匹配教师模型。它是一种工程取舍:团队以牺牲一定的通用性,甚至可能牺牲部分质量为代价,换取效率或专门化。

模型蒸馏如何运作

典型的模型蒸馏工作流包含五个步骤。

1. 选择教师模型

教师模型通常是较大的模型、集成模型,或是在目标任务上表现良好的模型。教师模型不必完美,但其行为应足够好,可以作为训练信号。

2. 定义任务和成功标准

当任务稳定且可衡量时,蒸馏效果最好。例如,对支持工单进行分类、从已知文档类型中提取字段、对少量选项进行排序,或按固定格式生成结构化响应。

在训练学生模型之前,需要先定义什么才算表现良好。这可能包括相对于人工标注样本的准确率、格式有效性、拒答行为、延迟、成本,或在边缘案例上的表现。

3. 生成教师模型输出

在任务样本上运行教师模型,其输出会成为学生模型的训练数据。根据具体设置,训练信号可能包括标签、概率分布、结构化响应、解释或首选补全。

最初的蒸馏论文强调,模型不仅可以从硬标签中学习,也可以从信息更丰富的教师模型输出中学习。在现代 LLM 工作流中,同样的思路常见于用更大的模型生成高质量样本,再用这些样本微调较小的模型。

4. 训练或微调学生模型

较小的模型会被训练成在该任务上复现所需的教师模型行为。在一些场景中,这就是使用教师模型生成的样本进行普通的监督式微调;在另一些场景中,这一过程可能会使用软概率目标或其他针对特定任务的训练信号。

5. 独立评估学生模型

应使用有意义的基准来测试学生模型,而不只是拿它与教师模型的训练输出对比。一套可靠的评估集应包括常规案例、边界案例、在可获得时由人工标注的参考答案、安全检查,以及教师模型可能处理不佳的样本。

示例演示:客服工单路由

以下是一个假设示例。它不是基准测试、实测结果,也不是关于任何特定供应商的声明。

假设一家公司使用大型 AI 模型,将收到的客服工单分到四个队列:

  • Billing
  • Technical support
  • Account access
  • Cancellation and retention

大型模型表现良好,但这家公司每天会收到许多相似工单。对每张工单都运行教师模型,成本可能高于团队预期,速度也可能更慢。因此,团队考虑将这项任务蒸馏到一个较小的学生模型中。

示例输入

客户消息:

示例消息(原文):“I was charged twice for my monthly plan. Can someone refund the duplicate payment?”

预期的教师模型行为

教师模型应将该工单归类为“Billing”,因为这条消息涉及重复扣费和退款请求。

用于训练的教师模型输出可能如下:

  • 标签:Billing
  • 依据:客户表示被扣了两次费,并请求退款。
  • 类似置信度的信号:高,如果该实现支持

学生模型训练目标

学生模型会被训练成将类似的工单文本映射到“Billing”队列。如果包含依据,团队也可以训练学生模型生成简短说明,但前提是生产环境确实需要这些说明。

评估标准

团队应检查学生模型是否能够:

  • 将普通工单路由到与可信标签或教师模型相同的队列。
  • 处理含义不明确的消息,例如同时提到账单争议的取消请求。
  • 按要求的格式生成有效输出。
  • 避免在标签错误或表述不清的样本上复制教师模型的错误。
  • 在实际生产环境中达到延迟和成本目标。

局限性

如果训练数据大多是简单的账单示例,学生模型可能会在边界案例上失败。例如,“I cannot log in to cancel before my renewal tomorrow”这样的消息同时包含账户访问、取消和账单紧迫性。即使教师模型本来能够妥善处理,只用狭窄样本训练出来的学生模型也可能把它路由错误。

这正是蒸馏的核心风险:学生模型只会从它见过的内容中学习。如果蒸馏数据集遗漏了重要案例,较小的模型可能在常规测试中看起来表现不错,却在生产环境中失效。

模型蒸馏与 RAG、微调的区别

模型蒸馏常被与检索增强生成(RAG)和微调混淆。它们之间可以有关联,但解决的是不同问题。

技术 改变了什么? 适用场景 主要限制
模型蒸馏 训练或调整学生模型,使其模仿教师模型在任务中的行为 你希望为稳定任务使用更小或更高效的模型 学生模型可能质量下降、继承教师模型的错误,或在未覆盖的边界案例上失败
微调 使用特定任务的训练数据更新模型 你需要模型遵循某种模式、标签体系、语气或输出格式 质量高度依赖训练数据和评估
RAG 在推理时检索外部信息,并将其作为上下文提供给模型 你需要当前的、有来源依据的或私有的信息,但不想把这些信息嵌入模型本身 检索质量和上下文选择会限制结果

蒸馏可以包含微调。例如,OpenAI 对 API 模型蒸馏的描述,是使用较大模型的输出,对较小模型进行微调,使其具备特定任务行为。RAG 则不同:它通常不会把教师模型压缩成学生模型,而是在请求发生时检索相关信息,并让模型基于这些上下文作出响应。

一个有用的判断点是:如果问题在于模型无法访问正确的信息,可以考虑 RAG。如果问题在于大模型的行为有用,但用于可重复任务时成本太高或过于笨重,可以考虑蒸馏。

什么时候适合使用模型蒸馏

当以下条件全部或大部分成立时,可以使用蒸馏:

  • 任务是稳定的。输入、标签、策略或输出格式不会不断变化。
  • 任务是重复性的。有足够的业务量,值得构建并评估一个学生模型。
  • 成功可以衡量。你可以用人工标注数据、已接受的输出或特定任务指标来评估学生模型。
  • 教师模型足够强。教师模型的输出足以作为训练信号。
  • 边界案例是已知的。你可以把困难案例纳入训练和评估。
  • 效率很重要。如果较小的模型达到质量门槛,就能带来有意义的运营价值。

一个实用规则是:当较小模型可以在稳定、可重复且成功标准可衡量的任务上接受训练和测试时,使用模型蒸馏。任务范围很宽、变化很快、定义不清或难以评估时,则应避免使用。

模型蒸馏什么时候会失败

蒸馏可能以一些可预见的方式失败。

学生模型继承教师模型的错误

如果教师模型生成有偏见、错误、不安全或不完整的输出,学生模型可能会学到这些行为。蒸馏不会自动清理教师模型的行为。在某些情况下,它还会让问题更难被发现,因为较小的模型看起来高效且专用于任务。

训练集遗漏边界案例

蒸馏后的模型可能在常见案例上表现良好,但在罕见或复杂输入上退化。对于受监管、安全敏感或高风险的工作流,这一点尤其重要,因为非常见案例同样关键。

学生模型过拟合合成模式

如果由教师生成的数据过于单一,学生模型可能学到的是表层模式,而不是任务本身。例如,它可能很擅长模仿教师的措辞,却不善于处理真实客户的表达。

任务需要广泛推理能力

有些任务依赖广泛的知识、长上下文推理或灵活的问题解决能力。基于狭窄数据集训练的小型学生模型,未必能保留这些更广泛的能力。

权利和政策问题尚未解决

使用教师输出训练另一个模型,可能引发许可、合同、法律或政策方面的问题。答案取决于源模型、数据、平台条款以及预期用途。团队在构建蒸馏流水线之前,应核实相关权利和权限。

如何评估蒸馏模型

应将蒸馏模型作为一个独立的生产候选方案来评估,而不应假定它只是教师模型的廉价副本。

一个有用的评估方案会比较三类内容:

  1. 教师模型的输出。
  2. 学生模型的输出。
  3. 在可获得的情况下,由人工标注或以其他方式确认可信的参考答案。

评估应包括:

  • 任务质量:根据具体任务,评估准确率、精确率和召回率、排序质量或格式正确性。
  • 边界案例表现:包含模糊、罕见、对抗性或对政策敏感的输入。
  • 运行表现:实际部署环境中的延迟和成本。
  • 安全与偏见检查:关注教师行为可能不理想或不完整的情况。
  • 回归测试:使用一组固定示例,确保学生模型在重新训练后仍能持续正确处理。

最重要的比较不是学生模型听起来是否像教师模型,而是学生模型是否达到了该任务的生产标准。

要点

AI 模型蒸馏会训练一个较小的学生模型,使其模仿较大的教师模型中有用的行为。对于稳定、高频、可衡量的任务,如果大型模型效果很好,但每次请求都运行它成本过高、速度太慢或过于复杂,模型蒸馏可能是一个有力选择。

它并不保证性能完全相同。学生模型可能丧失能力、继承教师错误,或在蒸馏数据未覆盖的边界案例上失败。应把蒸馏视为一种必须经过验证的优化策略,而不是绕过评估的捷径。