Ideas worth a closer look
VIVA PARADOX.Independent stories, clearly told.
Viva Paradox · ZH-HANS

什么是 AI 模型量化?它如何工作、何时使用,以及可能出什么问题

Conceptual editorial artwork: 什么是 AI 模型量化?它如何工作、何时使用,以及可能出什么问题

AI 模型量化是一种模型优化技术,用较低精度的数值格式来表示模型中的部分数值,通常是权重、激活值,或两者兼有。量化模型不会以高精度格式存储和计算每一个数值,而是在可以接受这种取舍的地方使用更紧凑的表示方式。

对工程师和产品团队来说,重点并不是数学上的优雅,而是部署:更小的模型产物、更低的内存压力、更少的内存带宽占用,有时还包括更快的推理速度。这些结果并不会自动发生。正如 Google AI Edge 在讨论将训练后量化作为模型优化时指出的那样,模型大小、速度和准确率之间的取舍会随硬件和模型特性而变化。PyTorch 的 torchao 文档也类似地将量化描述为使用较低精度表示,并讨论的是多种工作流,而不是某个放之四海而皆准的单一方案。

动手算:舍入误差与截断

这是本文编写的标量练习,设 scale = 0.1、zero point = 0,整数范围为 −127 到127。它不是实际神经网络转换,也不是设备性能测试。先计算 q = clip(round(x / 0.1), −127, 127),再用 x̂ = q × 0.1 还原。本练习遇到恰好一半的值时采用远离零的舍入规则。

原值 x 存储值 q 还原值 x̂ 绝对误差
−0.26 −3 −0.30 0.04
−0.04 0 0 0.04
0.04 0 0 0.04
0.26 3 0.30 0.04
12.8 127 12.7 0.10

前四个值的均方误差为 (0.04² × 4) / 4 = 0.0016。最后一个值体现截断:12.8 / 0.1 得到128,但上限为127,所以还原值是12.7。如果事先规定最大绝对误差为0.05,前四次转换通过,最后一次不通过。这个阈值仅为练习设定,并非部署建议。

四个float32值的原始数据为16字节,四个int8值为4字节。此计算不含缩放参数、元数据、未量化张量或运行时内存,不能当作整个模型的压缩率。标量误差不直接决定分类准确率或延迟。实际部署前仍需代表性校准数据和目标设备测量。

使用Python 3复现

代码仅使用标准库,不调用网络或模型。各语言使用相同练习标签。

from decimal import Decimal, ROUND_HALF_UP

def quantization():
    scale = Decimal('0.1')
    for text in ['-0.26', '-0.04', '0.04', '0.26', '12.8']:
        x = Decimal(text)
        q = int((x / scale).to_integral_value(rounding=ROUND_HALF_UP))
        q = max(-127, min(127, q))
        restored = Decimal(q) * scale
        error = abs(restored - x)
        print(f'x={x} q={q} restored={restored} abs_error={error:.2f}')

quantization()

计算脚本运行结果

x=-0.26 q=-3 restored=-0.3 abs_error=0.04
x=-0.04 q=0 restored=0.0 abs_error=0.04
x=0.04 q=0 restored=0.0 abs_error=0.04
x=0.26 q=3 restored=0.3 abs_error=0.04
x=12.8 q=127 restored=12.7 abs_error=0.10

Google AI Edge: 8-bit quantization specification

什么是 AI 模型量化?

AI 模型量化会把选定的模型数据或计算,从较高精度的数值表示转换为较低精度的表示。在实践中,这通常意味着降低模型权重、激活值或两者的精度,具体取决于所用框架、部署运行时和目标硬件。

神经网络包含大量数值。权重是存储在模型中的已学习参数。激活值是模型处理输入时产生的中间值。量化会改变其中部分数值的表示方式,使模型能够以更高效率存储或执行。

这里重要的词是“选定”。量化模型并不总是会量化每个张量、每个操作或执行过程中的每个阶段。有些工作流只量化权重;有些也会量化激活值;还有一些会让敏感操作保持较高精度,因为降低精度带来的准确率代价过高,或者部署后端无法高效支持较低精度的执行路径。

为什么要量化 AI 模型?

当部署约束很重要时,量化最有用。常见动机包括:

  • 缩小模型文件,便于打包、下载或在设备端存储。
  • 降低推理过程中的内存使用量。
  • 降低内存带宽需求;当需要在内存和计算单元之间移动模型数值时,这一点可能很重要。
  • 如果推理运行时和硬件能高效支持所选的低精度格式,延迟可能会降低。
  • 让模型更适合部署在边缘设备、移动设备、嵌入式环境或其他资源受限环境中。

最后两点需要谨慎表述。量化可以减少存储和带宽需求,但并不保证推理一定更快。如果目标硬件或运行时不能高效支持量化操作,延迟可能只会略有改善,也可能完全没有改善,甚至会因为转换开销而变得更差。因此,量化应被视为一项必须在目标环境中验证的部署实验,而不是一个保证提升性能的开关。

从高层次看,量化如何工作

从概念上说,量化会把较高精度范围内的数值映射到较低精度的表示中。系统需要一种方法,在原始数值范围和紧凑表示之间进行转换。通常会通过缩放信息来处理;根据具体方案,还可能需要偏移量或其他元数据。

可以用一种简化方式来理解:

  1. 检查需要表示的数值,例如一组权重或激活值范围。
  2. 选择框架和部署后端支持的低精度表示。
  3. 利用缩放信息,将原始值映射到这个低精度空间中。
  4. 在支持的情况下,使用量化表示来运行推理。
  5. 从准确率、延迟、内存和模型大小等标准,将量化模型与原始模型进行比较。

这个过程是简单还是复杂,取决于模型本身。有些模型很能适应较低精度;另一些模型则比较敏感,因为细微的数值变化也可能以影响任务的方式改变输出。

常见的量化工作流

不同框架使用的 API 和术语各不相同,但大多数实际工作流大致可分为两类。

训练后量化

训练后量化是在模型已经完成训练之后应用的。它会把训练好的模型转换为量化形式,而不需要从头重建训练流程。Google AI Edge 将训练后量化描述为一种模型优化方法,并强调其中的取舍取决于模型和硬件特性。

当模型本身已经表现良好,而部署问题主要在于大小、内存或延迟时,这通常是首先尝试的工作流。它的吸引力在于,评估速度可能比重新训练更快。不过,转换后的模型仍然需要验证,因为准确率可能发生变化。

量化感知工作流

有些工作流会在模型准备或训练的更早阶段就考虑量化。目标是让模型更能承受低精度带来的数值影响。PyTorch torchao 的量化概览从低精度表示和工作流的角度讨论量化,这也提醒我们:量化并不是一种放之四海而皆准的单一操作。

一个实用的决策规则是:

  • 当部署约束很重要,并且可以接受小幅准确率变化时,先尝试训练后量化。
  • 如果训练后量化在有代表性的验证数据上造成过大的性能退化,再转向更高级的量化感知工作流。
  • 如果框架和运行时允许,并且模型中的某些部分正是不可接受质量损失的来源,就让这些部分保持较高精度。

示例说明:量化一个小型图像分类器

下面是一个假设示例。它不是基准测试,也不能证明任何真实模型会如何表现。

具体输入

假设某个团队具备以下条件:

  • 一个经过训练、用于端侧推理的图像分类器。
  • 模型权重目前以较高精度格式存储。
  • 一个能够反映应用实际预期处理图像的验证集。
  • 一台目标设备和一个至少支持部分低精度操作的推理运行时。
  • 一个部署目标:在让任务准确率足够接近产品要求的同时,降低内存使用。

适用规则

由于模型已经训练完成,部署约束又是主要动因,因此应把训练后量化作为第一次实验。这符合 Google AI Edge 描述的一般优化框架:量化可以在大小、速度和准确率之间进行取舍,而结果取决于硬件和模型特性。

步骤

  1. 保留原始模型作为基线。
  2. 使用所选框架支持的工作流,将选定张量(例如权重)转换为低精度表示。
  3. 如果该工作流需要校准数据,应使用有代表性的样本,而不是随机或不符合现实的样本。
  4. 在用于评估原始模型的同一验证集上运行量化模型。
  5. 在目标运行时和硬件上衡量与部署相关的表现,而不只是看开发用笔记本电脑上的结果。
  6. 根据预先定义的验收标准,比较模型大小、内存表现、延迟和任务准确率。

参考答案

一个合理的参考决策可以是:只有当量化模型达到应用的内存目标,并且验证准确率仍处在团队允许的容差范围内时,才接受该模型。如果准确率超出这一容差,就不要按原样发布量化模型。可以尝试不那么激进的配置;如果支持,也可以将敏感操作保留为更高精度;或者评估一种量化感知工作流。

为什么会得出这个结果

量化会改变数值表示方式。这可以降低存储需求和内存压力,但也可能带来模型输出差异。唯一有意义的判断是:这些差异是否会影响实际任务、数据、运行时和硬件。

边界情况

如果验证集不具备代表性,实验结果就可能产生误导。一个量化后的图像分类器在干净、常见的图像上看起来可能可以接受,但在生产中重要的低光照、模糊图像或罕见类别上可能会失败。通过范围狭窄的验证检查,并不能证明量化模型对每一种输入分布都是安全的。

取舍:大小、速度和准确率

量化是在存储、内存、延迟和模型质量之间进行取舍。

大小

低精度数值可以减少实际被量化的张量所需的空间。但不能武断地给量化设定一个通用压缩比。最终大小取决于原始模型格式、哪些张量被量化、需要哪些元数据,以及模型中哪些部分仍保留更高精度。

例如,如果单个张量的数值用更少的比特来表示,那么这些数值的原始存储量会下降。但这种算术关系并不能自动说明整个模型包的大小,因为模型中可能包含未量化的张量、运行时元数据或其他组件。

速度

当硬件和运行时能够高效执行低精度操作时,量化可能提升推理速度。如果后端缺少针对所选格式优化的内核,或者模型的大部分时间都花在未量化的操作上,量化可能帮不上忙。

因此,延迟应当在计划部署的环境中测量。在某一种运行时或设备类别上观察到的加速,不应假定也会出现在另一种环境中。

准确率

量化对准确率的影响取决于具体模型和任务。有些模型能够承受量化,实际变化很小;另一些模型则可能明显退化,尤其是在输出对细小数值偏移很敏感,或者激活分布中包含难以紧凑表示的离群值时。

唯一稳妥的结论来自实证:在具有代表性的验证数据和面向具体任务的指标上,将量化模型与原始模型进行比较。

什么时候适合选择量化

在以下情况下,量化是很值得考虑的方案:

  • 模型对于目标部署环境来说过大。
  • 内存带宽或运行时内存使用成为瓶颈。
  • 推理延迟很重要,并且目标硬件能够高效支持低精度格式。
  • 应用可以容忍经过衡量的小幅模型质量变化。
  • 团队拥有具有代表性的验证数据,并且能够在目标运行时上进行测试。

在以下情况下,量化的吸引力较低:

  • 模型已经满足大小和延迟要求。
  • 任务对输出的细微变化极其敏感。
  • 部署后端对所需的量化操作支持不佳。
  • 团队无法用贴近现实的数据验证量化模型。
  • 如果不重新训练或增加额外保障,任何准确率下降都不可接受。

现实中的失败案例

设想一个用于高风险审核流程的分类器。原始模型对许多输入给出的分数都接近决策阈值。经过激进量化后,细小的数值差异会把足够多的临界样本推到阈值的错误一侧。

即使模型文件变小了,这样的结果也可能无法接受。问题不在于量化本身不好,而在于在一个细微变化也很关键的任务中,使用了会改变输出的优化方法。在这种情况下,团队应当拒绝按原样发布该量化模型,尝试不那么激进的量化方案,在经过适当验证后调整决策阈值,或者采用在模型准备阶段就考虑量化影响的工作流。

当激活值分布异常或包含大量离群值时,也可能出现类似问题。如果所选量化方案能够很好表示常见取值,却难以处理罕见的极端值,模型在平均表现上可能还算可以,但会在重要的边缘案例上失败。

如何验证量化模型

一套有用的验证计划,应当同时从机器学习质量和部署行为两个方面,将量化模型与原始模型进行比较。

至少要评估四个问题:

  1. 质量:量化模型是否达到原始模型所需的同一任务指标?
  2. 鲁棒性:它在重要子群体、罕见类别或困难样本上的表现是否仍然可以接受?
  3. 部署适配性:它在目标硬件和推理运行时上,是否达到模型大小、内存和延迟目标?
  4. 运行风险:输出偏移是否集中在决策阈值附近,或集中在对安全敏感的类别上?

验收标准应当在实验开始前定义。如果没有可接受准确率变化的阈值,团队可能会说服自己发布一个更小、但已不再达到产品真实质量标准的模型。

要点总结

AI 模型量化用较低精度的数字表示选定的模型值,以降低存储和内存压力,并可能改善推理延迟。它通常针对权重、激活值,或两者同时进行,具体取决于工作流和部署后端。

量化的收益足够真实,因此许多团队会把它作为首批评估的优化手段之一,尤其是在边缘端和资源受限环境中部署时。但结果并不具有普遍性。大小、速度和准确率取决于模型、数据、量化方法、运行时和目标硬件。

实际路径很清晰:在约束条件确有必要时,从训练后量化开始;用代表性数据对照原始模型进行验证;在目标部署栈上进行测量;只有当这种简单方法达不到准确率或性能标准时,再升级到更高级的工作流。