Ideas worth a closer look
VIVA PARADOX.Independent stories, clearly told.
Viva Paradox · ZH-HANS

AI训练与推理有何不同

Conceptual editorial artwork: AI训练与推理有何不同

AI训练用于构建或更新模型;推理则使用已经训练好的模型来响应新的输入。对于规划AI产品的团队来说,这一区别很重要,因为训练和推理在数据要求、基础设施需求、成本驱动因素和运营风险上都不相同。

本指南面向商务、产品和技术读者,帮助他们在不陷入数学细节的情况下,对AI训练与推理的区别形成实用理解。

跟踪一个权重,区分训练与推理

设玩具模型预测值 = w × x,初始 w = 1。这只是标量计算,不是语言模型或生产系统实验。对训练样本 x = 2、目标 y = 6,使用平方损失 L = (w × x − y)²,并以学习率0.1执行一次梯度下降。

步骤 计算 步骤后的权重
1 1 × 3 = 3 1
2 1 × 2 = 2; (2 − 6)² = 16 1
3 1 − 0.1 × (−16) = 2.6 2.6
4 2.6 × 3 = 7.8 2.6
5 2.6 × 4 = 10.4 2.6

步骤1是对x = 3进行推理。步骤2计算训练损失,但尚未更新参数。导数为 2 × x × (w × x − y) = −16。步骤3把w更新为2.6,这才是训练。步骤4和5是输入不同的推理;输出虽改变,权重仍为2.6。更新后的训练损失为 (2.6 × 2 − 6)² = 0.64。

单次更新不能证明泛化能力,也不能为真实模型选定合适学习率。保存对话日志、检索文档、修改提示词,都可能在不更新参数的情况下影响应用。日志以后是否用于另一次训练取决于服务和设置。仅凭输出改变,不能断定发生了训练。

使用Python 3复现

代码仅使用标准库,不调用网络或模型。各语言使用相同练习标签。

from decimal import Decimal, ROUND_HALF_UP

def training():
    w = Decimal('1')
    print(f'before_prediction={w * 3}')
    x, y, rate = Decimal('2'), Decimal('6'), Decimal('0.1')
    print(f'loss_before={(w*x-y)**2}')
    gradient = 2*x*(w*x-y)
    w = w - rate*gradient
    print(f'gradient={gradient} weight_after={w}')
    print(f'loss_after={(w*x-y)**2:.2f}')
    print(f'inference_x3={w*3} inference_x4={w*4} unchanged_weight={w}')

training()

计算脚本运行结果

before_prediction=3
loss_before=16
gradient=-16 weight_after=2.6
loss_after=0.64
inference_x3=7.8 inference_x4=10.4 unchanged_weight=2.6

什么是AI训练?

AI训练是模型生命周期中的学习阶段。在训练过程中,模型会接触数据,从而学习对某项任务有用的模式,例如图像分类、风险估计、物品推荐或文本生成。

从实践角度看,训练通常包括:

  • 收集或准备数据集
  • 将示例输入模型
  • 将模型输出与期望行为或训练目标进行比较
  • 调整模型的内部参数
  • 评估模型在预期用途上是否表现足够好

关键在于,训练会改变模型。模型已经学到的参数会被更新,使未来的输出体现它从训练数据中学到的内容。

训练通常需要大量数据和计算资源,尤其是大型模型。不过,具体成本和计算特征取决于模型规模、训练方法、硬件、数据量以及工程选择。一个小型分类模型与一个大型生成式模型的训练要求可能截然不同。

什么是AI推理?

AI推理是模型的使用阶段。训练好的模型接收新的输入并生成输出,例如预测、分类、推荐、排序或生成式回答。

IBM将AI推理描述为把训练期间学到的模式应用到新的输入上,这抓住了核心区别:模型是在使用已经学到的内容,而不是在每次请求时从头学习。关于这一生命周期视角,可参见IBM对什么是AI推理的说明。

推理的例子包括:

  • 聊天机器人为用户问题生成答案
  • 欺诈检测模型为一笔新交易打分
  • 图像分类器为一张新照片添加标签
  • 推荐系统为购物者对商品进行排序
  • 搜索模型为一次查询排列结果顺序

在大多数生产系统中,一次推理请求不会更新模型权重。系统可能会记录该请求、存储反馈、检索上下文,或通过业务规则处理输出,但这些操作并不等同于训练模型。

训练与推理对比表

维度 AI训练 AI推理
主要目的 教会或更新模型 使用已训练好的模型生成输出
典型输入 训练数据、标签或目标、评估数据 新的提示、记录、图像、交易、查询或其他输入
典型输出 已训练或已更新的模型 预测、分类、推荐、排序或生成式回答
是否改变模型? 是,训练会更新模型参数 通常不会;推理会应用现有模型
发生时间 周期性、按计划、实验性,或由模型更新触发 取决于应用,可以是按需、批处理或预先计算
计算特征 通常更重,尤其是大型模型或大规模数据集 通常针对延迟、吞吐量、可用性和每次输出成本进行优化
成本驱动因素 数据准备、训练计算、实验、评估 请求量、服务硬件、批处理、延迟目标、在线时间要求
主要工程关注点 学习有用模式并验证性能 快速且经济地提供可靠输出
示例 用历史欺诈案例训练模型 为一笔新的银行卡交易评估欺诈风险

该表描述的是常见模式,而不是普遍适用的成本定律。对于非常大的模型,如果请求量巨大,推理也可能很昂贵;而训练一个小模型的成本可能相对有限。真正有用的区分并不只是贵与便宜,而是这个工作流是在更新模型,还是在使用模型。

判断所处阶段的实用方法

审查AI工作流时,可以问三个问题:

  1. 输入是什么?如果输入是用于改进模型行为的数据集,你看到的可能是训练或微调。如果输入是用户请求或新的业务记录,那很可能是推理。
  2. 之后发生了什么变化?如果模型参数被更新,这个工作流就与训练相关。如果模型保持不变,只是返回一个输出,那就是推理。
  3. 成功标准是什么?训练的判断标准是得到的模型是否表现更好,或是否达到评估标准。推理的判断标准是每一次输出对应用而言是否有用、及时、可靠且成本合算。

下面是一个简单的假设示例:

一家银行使用多年积累的已标注交易数据来构建欺诈检测模型。这是训练。之后,当客户进行一笔新的消费,模型对这笔交易进行评分时,这就是推理。如果银行后来使用新近复核过的欺诈案例来更新模型,那么这次更新属于训练或微调,而不是普通推理。

微调适合放在哪个阶段

微调更接近训练,而不是推理。它以现有模型为起点,并针对更窄的任务、领域或风格继续训练。由于微调通过额外训练改变模型行为,因此它不同于只是向模型发送一个提示。

在生成式AI应用中,这一区分很容易变得模糊。团队可能通过修改提示、增加从知识库检索内容,或对模型进行微调来改进AI助手。但这些做法并不相同:

  • 提示会改变推理期间发送的指令或上下文。
  • 检索增强工作流可能会在推理时提供额外信息。
  • 微调通过额外训练改变模型。
  • 推理使用可用的模型和上下文来生成输出。

实际含义是:如果你需要让模型本身吸收新的模式,微调或训练可能相关;如果你只是需要模型基于当前上下文作答,或遵循更好的指令,在推理阶段做调整可能就足够了。

静态推理与动态推理

推理可以通过不同方式提供服务。Google 的《机器学习速成课程》区分了生产机器学习系统中的静态推理和动态推理,并说明推理可根据用例预先计算,也可按需执行。关于这种生产服务层面的区别,可参阅 Google 的静态推理与动态推理指南。

静态推理

静态推理是指提前生成输出并保存起来,以便后续使用。当输入不会持续变化,或者应用可以接受更新频率较低时,这种方式可行。

一个假设示例是:一家在线商店可能会定期为已知客户生成商品推荐并缓存。客户访问时,系统就提供预先计算好的推荐。

取舍在于新鲜度。预先计算的输出提供起来可能很快,但除非系统频繁重新计算,否则它们可能无法反映最新的用户行为或库存变化。

动态推理

动态推理是指在请求到达时运行模型。当输入不可预测、个性化程度高或对时间敏感时,这种方式很常见。

一个假设示例是:聊天机器人收到用户的问题后按需生成回答。由于事先不知道用户的确切输入,系统无法完全预先计算答案。

取舍在于运营压力。动态推理通常需要仔细关注延迟、吞吐量、可用性以及每次请求的成本。

实践中的训练与推理示例

图像分类

训练:模型从大量带标签的图像中学习,例如不同商品类别或视觉缺陷的示例。

推理:提交一张新图像后,训练好的模型会预测其类别,或标记可能存在的缺陷。

欺诈检测

训练:模型从历史交易和已知结果中学习。

推理:系统评估一笔新交易,模型给出风险评分或分类结果。

搜索排序

训练:排序模型从历史搜索、相关性和互动数据中学习。

推理:用户输入查询后,模型帮助为该特定查询排列结果顺序。

聊天机器人与生成式 AI

训练:在大型数据集上训练基础模型,或者针对特定领域对现有模型进行微调。

推理:用户发送提示词,模型生成回答。回答可能受到提示词或检索到的上下文影响,但在这一次交互中,模型权重通常不会改变。

基础设施与成本影响

训练和推理通常需要不同的工程规划。

训练基础设施通常围绕数据管道、实验跟踪、评估以及用于模型更新的算力访问来构建。这项工作可能会以阶段性集中方式进行:团队训练、评估、调整,然后再次训练,直到模型达到既定标准。

推理基础设施围绕服务交付来构建。系统必须接收输入、运行模型或获取预先计算的输出、返回结果、监控行为并处理故障。生产环境中的推理通常会针对延迟、吞吐量、可用性和每次输出成本进行优化。

这种差异会影响规划:

  • 负责训练模型的团队需要足够的数据质量、评估规范和计算能力,才能产出可靠的模型。
  • 负责部署推理的团队需要服务架构、监控、扩展能力和运维控制。
  • 同时做这两件事的团队,需要制定生命周期计划,明确新数据、评估、模型更新和生产服务如何衔接。

成本比较取决于具体背景。训练通常成本较高,因为它可能需要大量计算资源和反复实验。推理在请求量很高、延迟要求严格或模型规模很大时,也可能成为一项重要的持续成本。应把成本看作架构问题,而不是一句口号。

常见误解

误解 1:每次 AI 响应都意味着模型学到了东西

大多数生产环境中的推理并不会更新模型。系统可能会存储日志或反馈,供日后训练使用,但单次响应通常是通过应用现有模型生成的。

误解 2:提示词等同于训练

提示词可以改变某个请求的输出,但它本身不会更新模型已经学到的参数。微调和训练才是会修改模型的活动。

误解 3:推理总是很便宜

对于单个请求,推理通常比训练更轻量,但推理总成本取决于流量规模、模型大小、硬件、批处理策略和部署架构。使用量很大的 AI 产品可能会在推理上消耗大量资源。

误解 4:训练只发生一次,推理会一直持续下去

有些模型训练一次后会使用很长时间。另一些模型会随着数据变化、用例演进或性能需求提升而重新训练或微调。生命周期取决于应用以及它对行为过时的容忍度。

要点总结

AI 训练和推理相互关联,但属于不同阶段:

  • 训练通过从数据中学习来构建或更新模型。
  • 推理将已经训练好的模型应用于新的输入。
  • 微调与训练相关,因为它会改变模型。
  • 静态推理会预先计算输出;动态推理则按需运行模型。
  • 训练规划关注数据、学习、评估和模型更新。
  • 推理规划关注生产服务、延迟、可靠性、规模以及每次输出成本。

如果某个工作流会改变模型,就应将其视为训练或微调。如果它是使用模型针对新的输入生成答案、评分、推荐或分类,就应将其视为推理。这个简单判断有助于团队在架构、预算、监控和职责归属方面作出更清晰的决策。