Ideas worth a closer look
VIVA PARADOX.Independent stories, clearly told.
Viva Paradox · ZH-HANS

多模态 AI 如何工作?一份实用指南

Conceptual editorial artwork: 多模态 AI 如何工作?一份实用指南

什么是多模态 AI?

多模态 AI 是指能够处理并关联不止一种数据类型,或称模态的人工智能。模态可以是文本、图像、音频、视频、结构化数据、传感器读数,或其他机器可读信号。多模态系统并非只处理文字或只处理图像,而是能够在不同格式之间关联信息。

例如,单一模态的文本模型可能会对一份文档进行摘要;计算机视觉模型可能会对一张图像进行分类;而多模态 AI 系统则可能查看一张照片,读取用户针对这张照片提出的问题,并生成一段文本回答,其中引用图像中的视觉细节。

需要注意的重要一点是,多模态 AI 并不是一种通用能力。不同系统支持的模态和任务各不相同。OpenAI 将 GPT-4o 介绍为一种能够处理并生成文本、音频和图像输入输出组合的模型,但这一描述只适用于 GPT-4o 本身,并不适用于所有多模态模型。同样,Google DeepMind 在其Gemini 技术报告中将 Gemini 描述为一个多模态模型家族,但 Gemini 所报告的能力和基准测试结果不应被泛化到所有多模态 AI 系统。

当你试图理解多模态 AI 系统一般如何工作、如何评估它们,或如何判断某个多模态工具是否适合产品、研究、教育、无障碍或商业工作流时,本指南适用。它不能取代针对具体模型的技术评估,尤其是在医疗、法律、金融、安全关键或隐私敏感的使用场景中。

多模态 AI 如何工作?

从高层次看,多模态 AI 的工作方式是:将不同类型的输入转换为内部数值表示,对这些表示进行对齐或组合,在合并后的上下文上进行推理,并以一种或多种模态生成输出。

典型工作流如下:

  1. 输入摄取:系统接收一个或多个输入,例如文本提示、图像、音频片段、视频帧、文档或传感器信号。
  2. 特定模态编码:专门的组件会将每种输入类型转换为数值特征。文本可能会被分词并嵌入;图像可能会被切分为图像块,或由视觉编码器处理;音频可能会被转换为时频特征或其他表示。
  3. 对齐或融合:系统会将这些表示映射到一种形式,使不同模态之间的关系可以被比较。例如,它可能会学习到某个书面短语、某个图像区域和某段音频片段指向同一个对象或事件。
  4. 跨模态推理:模型利用合并后的信息来推断关系、回答问题、对内容进行分类、检索相关信息,或规划某项行动。
  5. 输出生成:系统生成答案。根据模型和产品设计,输出可能是文本、图注、结构化标签、生成图像、合成语音,或另一种模态。

因此,关于多模态 AI 如何工作的直接答案是:它会把不同数据类型转换为机器可读表示,对齐这些表示,使其能够被比较或组合,然后使用模型在它们之间进行推理,最后生成合适的输出。

核心技术构件

多模态系统各不相同,但现代设计中经常出现几个概念。

编码器

编码器会将原始输入转换为紧凑的数值表示。编码器通常会针对具体模态进行定制。

  • 文本编码器表示单词、词元、短语或文档。
  • 图像编码器表示像素、物体、区域或视觉模式。
  • 音频编码器表示声音特征,例如时序、频率、语音模式或声学事件。
  • 视频系统可能会处理帧、运动、音频、字幕以及时间关系。

并非每个多模态系统都会为每一种模态配备独立编码器,也并非每款产品都会向用户开放所有受支持的输入类型。不过,针对特定模态进行编码是一种常见设计模式,因为文本、图像和音频的原始结构差异很大。

嵌入

嵌入是数值向量,用模型能够处理的方式表示含义或特征。在多模态系统中,嵌入可以帮助连接不同模态。例如,“红色自行车”这个短语与包含红色自行车的视觉区域,可能会以一种可相互比较的方式来表示。

目标并不是让图像在字面意义上变成文本,或让音频变成图像。目标是创建内部表示,既保留有用信息,又让系统能够把一种模态与另一种模态关联起来。

共享表示空间

许多多模态系统会使用某种形式的共享表示空间。这是一种内部数学空间,来自不同模态的信息可以在其中对齐。如果模型学到了有用的跨模态关系,那么即使相似概念来自不同输入类型,它们也可能在这一空间中彼此接近。

例如,一张停车标志的图片、“停车标志”这几个词,以及可能提到停车标志的一段音频描述,都可能被映射为相关的表示。正是这种对齐,使系统能够把视觉证据与语言连接起来。

Transformer 与注意力

Transformer 和注意力机制在现代多模态 AI 中很常见,因为它们能够建模元素之间的关系。在文本中,注意力帮助模型关联一个序列中的单词或词元。在图像或视频中,类似机制可以帮助连接区域、帧、物体或图像块。在多模态系统中,注意力还可以帮助模型衡量跨模态关系的重要性。

例如,如果用户问图像中的汽车是什么颜色,系统需要把文本提示中的“汽车”一词与图像中的正确区域连接起来,然后再把该区域与相关颜色信息连接起来。

解码器与输出头

解码器或输出组件会把内部表示转换成最终答案。根据系统不同,它可能生成文本、给出标签、创建图像、合成语音,或返回结构化数据。多模态 AI 可以在一种或多种模态中生成结果,但支持哪些输出取决于具体模型。

OpenAI 称,GPT-4o支持文本、音频和图像输入与输出的组合。这是一个有用的多模态输入与输出示例,但应将其理解为针对特定模型的产品与研究主张,而不是对所有多模态 AI 能做什么的定义。

AI 如何组合不同模态

一个关键的设计问题是:系统在何时以及如何组合来自不同模态的信息。三种常见模式是早期融合、晚期融合和中间融合。

早期融合

在早期融合中,系统会在处理流程的起始阶段附近组合信息。例如,它可能会将文本和图像输入转换为嵌入,并在更深层的推理层共同处理它们之前先进行组合。

这有助于模型在早期学习细致的跨模态关系,但也可能需要更谨慎的设计,因为每种模态都有不同的结构和尺度。

后期融合

在后期融合中,每种模态会在较长流程中分别处理,并在接近末尾时合并结果。例如,图像分类器和文本分析器可以各自产生独立输出,再由最终组件进行比较或组合。

当一个组织已经拥有专用模型时,后期融合可能更容易实现。不过,它也可能错过那些需要深层跨模态推理的细微交互。

中间融合

中间融合是在完成一部分模态特定处理之后、最终决策或生成步骤之前,将多种模态结合起来。这种方式很常见,因为它允许每个编码器先提取有用特征,然后再让模型有机会围绕这些特征进行跨模态推理。

在实践中,许多真实系统都是混合式的。有些系统会在多种模态之间进行端到端训练,另一些则是连接专用模型的流水线。一个产品可能会同时使用语音识别、语言模型、图像编码器、检索系统和最终响应生成器。架构取决于任务、延迟要求、可用数据和安全约束。

图像练习:区分读取、计算和索取缺失部分

两张图为本指南制作,包含虚构收据资料,并非真实购买或已观察的模型测试。裁剪图刻意去掉汇总和币种。可分别保存,用已有的图像助手自行测试。

图A · 完整教学收据

含商品行和汇总的完整虚构收据
图A · 完整教学收据

图B · 仅商品行

仅显示抬头与商品行的虚构收据裁剪图
图B · 仅商品行

每次只给一张图的提示词

只读取提供的图像。报告可见的数量、单价、币种和印刷的最终合计。将每个值标为读取、计算或不可见,单列计算。不要从语言推断币种,也不要编造缺失的税、折扣或总额。
字段 完整图参考判断 裁剪图参考判断
商品金额 读取:Notebook 12.00,Pen 6.00。 读取:相同商品金额。
可见商品金额之和 计算:12.00 + 6.00 = 18.00;印刷小计也为18.00。 计算:18.00,不是可见的最终合计。
税 / 印刷最终合计 读取:Tax 2.00,Total 20.00。 不可见。不能从图A带入20.00。
币种 读取:USD。 不可见。英文与小数格式不能确定币种。

保持比较公平

测试裁剪图时开启新对话,只提供B与提示词,不给A或答案表。否则助手可能复用之前的上下文,而非读取裁剪图。比较前记录实际图片、模型/版本、提示及真实回复。

有限度的答案示例

对B的参考回答:“可见商品金额为12.00和6.00,合计18.00。币种、税和印刷最终合计不可见,请提供收据下半部分核实。”这是编写的参考答案,不是模型回复引文。

按错误类型选下一步

可见数字读错时检查原始分辨率或补拍近照。放大不能恢复裁掉的信息。若编造税或币种,要求基于依据修正并补充缺失区域;数字正确但求和错误,则单独检查算术。

收据图片不能证明付款已结算或交易真实。这里仅核查可见标记。不要合并成一个“理解力”评分:读取、计算、处理缺失资料可能分别成功或失败。

参考:图像输入文档

相关指南:用依据核查AI答案

多模态人工智能的实际应用示例

多模态人工智能可以支持许多任务,具体取决于模型。

  • 图像问答:用户上传一张图像,并询问正在发生什么、出现了什么物体,或两个视觉元素之间有什么关系。
  • 图像说明生成:系统为图像或视频生成文字描述。
  • 音频理解:模型或流程可以转写语音、识别声音事件,或将音频与文本语境结合起来。
  • 视频摘要:系统分析画面帧、运动、语音以及可能存在的字幕,并生成摘要。
  • 无障碍支持:工具描述视觉内容、读取图像中的文字,或帮助用户浏览视觉界面。
  • 文档理解:系统综合解读扫描表格、图表、手写内容、表格数据和文本。
  • 客户支持:用户提交截图、聊天记录和一段口头说明,系统帮助分流或总结问题。

这些示例应被理解为用例类别。某个具体模型能否准确完成这些任务,取决于它的训练方式、架构、产品限制以及评估结果。

现实世界中的应用

搜索与知识工作

多模态搜索可以帮助用户在文本、图像、音频、视频和文档中查找信息。例如,员工可以用文字描述来搜索产品图示,媒体团队也可以按场景内容检索视频档案。

教育

学生和教育工作者可以使用多模态工具来解释图表、总结课堂录音、根据幻灯片生成学习辅助材料,或就视觉材料提问。人工审核仍然很重要,因为模型可能会误读图表,或给出看似自信但并不正确的解释。

医疗支持

多模态 AI 可以协助处理行政或支持类任务,例如总结记录、整理档案,或帮助解读非诊断性信息。不过,医疗应用需要严格验证、隐私控制和专业监督。多模态系统不应被描述为合格临床医生的替代品。

机器人与自主系统

机器人通常需要结合摄像头输入、语言指令、传感器读数、地图以及来自环境的反馈。多模态 AI 可以帮助连接这些信号,但在物理世界中部署会带来安全性和可靠性方面的挑战。

内容创作

创作者可以使用多模态系统生成字幕、将脚本转化为故事板、描述视觉素材,或结合文本与视觉参考。工具输出仍需要编辑审核,尤其是在涉及事实、版权或敏感内容时。

企业生产力

企业可以使用多模态 AI 分析演示文稿、含有嵌入表格的合同、产品图片、支持工单、会议录音以及内部知识库。当涉及专有数据或个人数据时,安全性、权限管理和可审计性尤其重要。

多模态 AI、生成式 AI 与 RAG 的区别

这些术语有所重叠,但描述的是不同概念。

多模态 AI描述的是系统能够处理或生成的数据类型。多模态系统可以跨多种模态工作,例如文本和图像。

生成式 AI描述的是能够创建输出的系统,例如文本、图像、音频、代码或视频。生成式模型可以是单模态的,也可以是多模态的。例如,仅处理文本的聊天机器人可以是生成式的,但并不是多模态的。

检索增强生成(RAG)描述的是一种系统模式:在生成之前或生成过程中检索相关信息。在多模态 RAG 中,检索步骤可能会获取文本、图像、音频、视频或其他已索引内容。随后,生成器会利用检索到的上下文来生成答案。

并非每个多模态系统都自动包含 RAG。它是一种架构选择。同样,某一篇多模态 RAG 论文或某个产品的实验结果,不应被视为所有多模态 RAG 系统表现相同的证明。

局限与风险

幻觉与误读

多模态系统可能生成看似合理却错误的答案。它们可能误读图像、误解图表、混淆音频中的说话者,或推断出实际上并不存在的细节。

模态失衡

模型可能过度依赖某一种模态。例如,它可能依据文本线索作答,却忽视相互矛盾的视觉证据;也可能过分看重某个可见物体,而漏掉用户写明的限制条件。

偏见与代表性缺口

如果训练数据对某些人群、环境、语言、口音、视觉风格或文化背景覆盖不足,系统的表现可能会不均衡。偏见可能出现在图像解读、语音理解、字幕生成和决策支持中。

隐私与同意

多模态 AI 经常处理敏感数据:人脸、声音、位置、文件、医学影像或个人通信。组织在部署前应评估同意机制、留存政策、访问控制、数据最小化以及监管义务。

计算成本与延迟

处理图像、音频和视频所需的计算资源可能多于单独处理文本。实时多模态系统可能面临延迟限制,尤其是在需要处理长视频、高分辨率图像或实时音频时。

评估挑战

评估跨模态推理比简单分类更困难。模型可能能正确识别物体,却无法回答有关关系的问题。它可能能正确转写音频,却漏掉语气或时机的重要含义。基准测试有所帮助,但针对特定模型的基准测试结论不应泛化到被测试系统之外。

选择多模态 AI 工具时应关注什么

评估多模态 AI 产品时,可使用以下清单。

  1. 支持的模态:它是否真正支持你需要的输入和输出,例如文本加图像、音频加文本,或视频加转写文本?
  2. 任务匹配度:它能否完成你的具体工作流程,还是只展示了某种相关能力?
  3. 准确性证据:是否有针对你的使用场景、数据类型和风险等级的可信评估?
  4. 人工审核:用户能否检查、纠正或覆盖输出结果?
  5. 隐私控制:图像、声音、文件及其他敏感数据如何被存储、处理和留存?
  6. 安全与权限:系统是否遵守企业文件和个人信息的访问控制要求?
  7. 延迟:响应时间是否适合你的工作流程,尤其是在音频、视频或实时交互场景中?
  8. 可解释性:工具能否展示其使用了哪些证据,例如相关文档段落或图像区域?
  9. 集成:它能否连接你现有的文档系统、支持工具、搜索索引或内容工作流程?
  10. 故障处理:当模型不确定、输入质量较低,或任务涉及安全敏感问题时,会发生什么?

对于低风险的头脑风暴或内容整理,轻量级审核流程可能就足够了。对于安全关键型、受监管或面向客户的决策,则需要更严格的验证、日志记录、人工监督和领域专家审查。

结论

多模态 AI 的工作方式,是将不同形式的数据转换为数值表示,对这些表示进行对齐或融合,并基于它们进行推理以生成输出。其核心理念是跨模态理解:把书写的、展示的、说出的、听到的,或以其他方式感知到的信息连接起来。

具体实现差异很大。有些系统使用独立的编码器和一个共享的推理模型;另一些则把专用工具组合成一条流程。有些系统只生成文本,而另一些可能生成或处理多种输出类型。GPT-4o 或 Gemini 等模型的能力,是当前多模态 AI 发展的有益例子,但不应将其视为所有多模态系统的普遍特征。

在实际使用中,应从任务出发:哪些输入重要,需要什么输出,涉及多大风险,以及哪些证据能够表明系统足够可靠。多模态 AI 的强大之处在于能够连接更丰富的上下文,但在错误会造成重要影响的场景中,它仍然需要谨慎评估、隐私保护措施和人的判断。