AI 模型量化是一种模型优化技术,用较低精度的数值格式来表示模型中的部分数值,通常是权重、激活值,或两者兼有。量化模型不会以高精度格式存储和计算每一个数值,而是在可以接受这种取舍的地方使用更紧凑的表示方式。
对工程师和产品团队来说,重点并不是数学上的优雅,而是部署:更小的模型产物、更低的内存压力、更少的内存带宽占用,有时还包括更快的推理速度。这些结果并不会自动发生。正如 Google AI Edge 在讨论将训练后量化作为模型优化时指出的那样,模型大小、速度和准确率之间的取舍会随硬件和模型特性而变化。PyTorch 的 torchao 文档也类似地将量化描述为使用较低精度表示,并讨论的是多种工作流,而不是某个放之四海而皆准的单一方案。
动手算:舍入误差与截断
这是本文编写的标量练习,设 scale = 0.1、zero point = 0,整数范围为 −127 到127。它不是实际神经网络转换,也不是设备性能测试。先计算 q = clip(round(x / 0.1), −127, 127),再用 x̂ = q × 0.1 还原。本练习遇到恰好一半的值时采用远离零的舍入规则。
| 原值 x | 存储值 q | 还原值 x̂ | 绝对误差 |
|---|---|---|---|
| −0.26 | −3 | −0.30 | 0.04 |
| −0.04 | 0 | 0 | 0.04 |
| 0.04 | 0 | 0 | 0.04 |
| 0.26 | 3 | 0.30 | 0.04 |
| 12.8 | 127 | 12.7 | 0.10 |
前四个值的均方误差为 (0.04² × 4) / 4 = 0.0016。最后一个值体现截断:12.8 / 0.1 得到128,但上限为127,所以还原值是12.7。如果事先规定最大绝对误差为0.05,前四次转换通过,最后一次不通过。这个阈值仅为练习设定,并非部署建议。
四个float32值的原始数据为16字节,四个int8值为4字节。此计算不含缩放参数、元数据、未量化张量或运行时内存,不能当作整个模型的压缩率。标量误差不直接决定分类准确率或延迟。实际部署前仍需代表性校准数据和目标设备测量。
使用Python 3复现
代码仅使用标准库,不调用网络或模型。各语言使用相同练习标签。
from decimal import Decimal, ROUND_HALF_UP
def quantization():
scale = Decimal('0.1')
for text in ['-0.26', '-0.04', '0.04', '0.26', '12.8']:
x = Decimal(text)
q = int((x / scale).to_integral_value(rounding=ROUND_HALF_UP))
q = max(-127, min(127, q))
restored = Decimal(q) * scale
error = abs(restored - x)
print(f'x={x} q={q} restored={restored} abs_error={error:.2f}')
quantization()
计算脚本运行结果
x=-0.26 q=-3 restored=-0.3 abs_error=0.04
x=-0.04 q=0 restored=0.0 abs_error=0.04
x=0.04 q=0 restored=0.0 abs_error=0.04
x=0.26 q=3 restored=0.3 abs_error=0.04
x=12.8 q=127 restored=12.7 abs_error=0.10
Google AI Edge: 8-bit quantization specification
什么是 AI 模型量化?
AI 模型量化会把选定的模型数据或计算,从较高精度的数值表示转换为较低精度的表示。在实践中,这通常意味着降低模型权重、激活值或两者的精度,具体取决于所用框架、部署运行时和目标硬件。
神经网络包含大量数值。权重是存储在模型中的已学习参数。激活值是模型处理输入时产生的中间值。量化会改变其中部分数值的表示方式,使模型能够以更高效率存储或执行。
这里重要的词是“选定”。量化模型并不总是会量化每个张量、每个操作或执行过程中的每个阶段。有些工作流只量化权重;有些也会量化激活值;还有一些会让敏感操作保持较高精度,因为降低精度带来的准确率代价过高,或者部署后端无法高效支持较低精度的执行路径。
为什么要量化 AI 模型?
当部署约束很重要时,量化最有用。常见动机包括:
- 缩小模型文件,便于打包、下载或在设备端存储。
- 降低推理过程中的内存使用量。
- 降低内存带宽需求;当需要在内存和计算单元之间移动模型数值时,这一点可能很重要。
- 如果推理运行时和硬件能高效支持所选的低精度格式,延迟可能会降低。
- 让模型更适合部署在边缘设备、移动设备、嵌入式环境或其他资源受限环境中。
最后两点需要谨慎表述。量化可以减少存储和带宽需求,但并不保证推理一定更快。如果目标硬件或运行时不能高效支持量化操作,延迟可能只会略有改善,也可能完全没有改善,甚至会因为转换开销而变得更差。因此,量化应被视为一项必须在目标环境中验证的部署实验,而不是一个保证提升性能的开关。
从高层次看,量化如何工作
从概念上说,量化会把较高精度范围内的数值映射到较低精度的表示中。系统需要一种方法,在原始数值范围和紧凑表示之间进行转换。通常会通过缩放信息来处理;根据具体方案,还可能需要偏移量或其他元数据。
可以用一种简化方式来理解:
- 检查需要表示的数值,例如一组权重或激活值范围。
- 选择框架和部署后端支持的低精度表示。
- 利用缩放信息,将原始值映射到这个低精度空间中。
- 在支持的情况下,使用量化表示来运行推理。
- 从准确率、延迟、内存和模型大小等标准,将量化模型与原始模型进行比较。
这个过程是简单还是复杂,取决于模型本身。有些模型很能适应较低精度;另一些模型则比较敏感,因为细微的数值变化也可能以影响任务的方式改变输出。
常见的量化工作流
不同框架使用的 API 和术语各不相同,但大多数实际工作流大致可分为两类。
训练后量化
训练后量化是在模型已经完成训练之后应用的。它会把训练好的模型转换为量化形式,而不需要从头重建训练流程。Google AI Edge 将训练后量化描述为一种模型优化方法,并强调其中的取舍取决于模型和硬件特性。
当模型本身已经表现良好,而部署问题主要在于大小、内存或延迟时,这通常是首先尝试的工作流。它的吸引力在于,评估速度可能比重新训练更快。不过,转换后的模型仍然需要验证,因为准确率可能发生变化。
量化感知工作流
有些工作流会在模型准备或训练的更早阶段就考虑量化。目标是让模型更能承受低精度带来的数值影响。PyTorch torchao 的量化概览从低精度表示和工作流的角度讨论量化,这也提醒我们:量化并不是一种放之四海而皆准的单一操作。
一个实用的决策规则是:
- 当部署约束很重要,并且可以接受小幅准确率变化时,先尝试训练后量化。
- 如果训练后量化在有代表性的验证数据上造成过大的性能退化,再转向更高级的量化感知工作流。
- 如果框架和运行时允许,并且模型中的某些部分正是不可接受质量损失的来源,就让这些部分保持较高精度。
示例说明:量化一个小型图像分类器
下面是一个假设示例。它不是基准测试,也不能证明任何真实模型会如何表现。
具体输入
假设某个团队具备以下条件:
- 一个经过训练、用于端侧推理的图像分类器。
- 模型权重目前以较高精度格式存储。
- 一个能够反映应用实际预期处理图像的验证集。
- 一台目标设备和一个至少支持部分低精度操作的推理运行时。
- 一个部署目标:在让任务准确率足够接近产品要求的同时,降低内存使用。
适用规则
由于模型已经训练完成,部署约束又是主要动因,因此应把训练后量化作为第一次实验。这符合 Google AI Edge 描述的一般优化框架:量化可以在大小、速度和准确率之间进行取舍,而结果取决于硬件和模型特性。
步骤
- 保留原始模型作为基线。
- 使用所选框架支持的工作流,将选定张量(例如权重)转换为低精度表示。
- 如果该工作流需要校准数据,应使用有代表性的样本,而不是随机或不符合现实的样本。
- 在用于评估原始模型的同一验证集上运行量化模型。
- 在目标运行时和硬件上衡量与部署相关的表现,而不只是看开发用笔记本电脑上的结果。
- 根据预先定义的验收标准,比较模型大小、内存表现、延迟和任务准确率。
参考答案
一个合理的参考决策可以是:只有当量化模型达到应用的内存目标,并且验证准确率仍处在团队允许的容差范围内时,才接受该模型。如果准确率超出这一容差,就不要按原样发布量化模型。可以尝试不那么激进的配置;如果支持,也可以将敏感操作保留为更高精度;或者评估一种量化感知工作流。
为什么会得出这个结果
量化会改变数值表示方式。这可以降低存储需求和内存压力,但也可能带来模型输出差异。唯一有意义的判断是:这些差异是否会影响实际任务、数据、运行时和硬件。
边界情况
如果验证集不具备代表性,实验结果就可能产生误导。一个量化后的图像分类器在干净、常见的图像上看起来可能可以接受,但在生产中重要的低光照、模糊图像或罕见类别上可能会失败。通过范围狭窄的验证检查,并不能证明量化模型对每一种输入分布都是安全的。
取舍:大小、速度和准确率
量化是在存储、内存、延迟和模型质量之间进行取舍。
大小
低精度数值可以减少实际被量化的张量所需的空间。但不能武断地给量化设定一个通用压缩比。最终大小取决于原始模型格式、哪些张量被量化、需要哪些元数据,以及模型中哪些部分仍保留更高精度。
例如,如果单个张量的数值用更少的比特来表示,那么这些数值的原始存储量会下降。但这种算术关系并不能自动说明整个模型包的大小,因为模型中可能包含未量化的张量、运行时元数据或其他组件。
速度
当硬件和运行时能够高效执行低精度操作时,量化可能提升推理速度。如果后端缺少针对所选格式优化的内核,或者模型的大部分时间都花在未量化的操作上,量化可能帮不上忙。
因此,延迟应当在计划部署的环境中测量。在某一种运行时或设备类别上观察到的加速,不应假定也会出现在另一种环境中。
准确率
量化对准确率的影响取决于具体模型和任务。有些模型能够承受量化,实际变化很小;另一些模型则可能明显退化,尤其是在输出对细小数值偏移很敏感,或者激活分布中包含难以紧凑表示的离群值时。
唯一稳妥的结论来自实证:在具有代表性的验证数据和面向具体任务的指标上,将量化模型与原始模型进行比较。
什么时候适合选择量化
在以下情况下,量化是很值得考虑的方案:
- 模型对于目标部署环境来说过大。
- 内存带宽或运行时内存使用成为瓶颈。
- 推理延迟很重要,并且目标硬件能够高效支持低精度格式。
- 应用可以容忍经过衡量的小幅模型质量变化。
- 团队拥有具有代表性的验证数据,并且能够在目标运行时上进行测试。
在以下情况下,量化的吸引力较低:
- 模型已经满足大小和延迟要求。
- 任务对输出的细微变化极其敏感。
- 部署后端对所需的量化操作支持不佳。
- 团队无法用贴近现实的数据验证量化模型。
- 如果不重新训练或增加额外保障,任何准确率下降都不可接受。
现实中的失败案例
设想一个用于高风险审核流程的分类器。原始模型对许多输入给出的分数都接近决策阈值。经过激进量化后,细小的数值差异会把足够多的临界样本推到阈值的错误一侧。
即使模型文件变小了,这样的结果也可能无法接受。问题不在于量化本身不好,而在于在一个细微变化也很关键的任务中,使用了会改变输出的优化方法。在这种情况下,团队应当拒绝按原样发布该量化模型,尝试不那么激进的量化方案,在经过适当验证后调整决策阈值,或者采用在模型准备阶段就考虑量化影响的工作流。
当激活值分布异常或包含大量离群值时,也可能出现类似问题。如果所选量化方案能够很好表示常见取值,却难以处理罕见的极端值,模型在平均表现上可能还算可以,但会在重要的边缘案例上失败。
如何验证量化模型
一套有用的验证计划,应当同时从机器学习质量和部署行为两个方面,将量化模型与原始模型进行比较。
至少要评估四个问题:
- 质量:量化模型是否达到原始模型所需的同一任务指标?
- 鲁棒性:它在重要子群体、罕见类别或困难样本上的表现是否仍然可以接受?
- 部署适配性:它在目标硬件和推理运行时上,是否达到模型大小、内存和延迟目标?
- 运行风险:输出偏移是否集中在决策阈值附近,或集中在对安全敏感的类别上?
验收标准应当在实验开始前定义。如果没有可接受准确率变化的阈值,团队可能会说服自己发布一个更小、但已不再达到产品真实质量标准的模型。
要点总结
AI 模型量化用较低精度的数字表示选定的模型值,以降低存储和内存压力,并可能改善推理延迟。它通常针对权重、激活值,或两者同时进行,具体取决于工作流和部署后端。
量化的收益足够真实,因此许多团队会把它作为首批评估的优化手段之一,尤其是在边缘端和资源受限环境中部署时。但结果并不具有普遍性。大小、速度和准确率取决于模型、数据、量化方法、运行时和目标硬件。
实际路径很清晰:在约束条件确有必要时,从训练后量化开始;用代表性数据对照原始模型进行验证;在目标部署栈上进行测量;只有当这种简单方法达不到准确率或性能标准时,再升级到更高级的工作流。
