AI 上下文窗口,是指 AI 模型在生成回答时一次能够考虑的信息量。它通常以词元(token)计量,而不是按页数或精确字数计算;其中可以包括你的提示、此前的聊天消息、指令、检索到的文本、上传的内容,以及模型自身生成的输出。
这个定义很重要,因为上下文窗口解释了使用 AI 时常见的一种挫败感:模型似乎会忘记早先的细节,忽略长文档中的某一部分,或者需要先得到摘要,才能继续给出有用的回答。上下文窗口不是模型的智能、训练数据或长期记忆。它更接近于当前互动可用的工作空间。
用通俗的话理解上下文窗口
可以把上下文窗口看作模型处理文本的临时工作区。当你提出问题时,AI 系统会组装它希望模型参考的信息。这个信息包可能包括隐藏的系统指令、你当前的消息、相关聊天历史,以及应用程序添加的任何外部文本。随后,模型会根据能放进这个窗口的内容生成回答。
这只是一个类比。AI 模型使用“记忆”的方式并不像人类。不过,“工作区”这个说法很有帮助:如果重要信息不在当前上下文中,即使你在一段很长的对话早些时候提到过,模型也可能无法在回答中使用它。
Google 的 Gemini API 文档用词元来描述模型限制,并说明词元限制适用于输入和输出的总和,具体限制会因模型而异。换句话说,上下文窗口不只是你发送的文本;在以这种方式定义限制的系统中,生成的回答也可能计入同一个总体限制。可参见 Google 关于如何理解和计算词元的说明。
OpenAI 的开发者文档也从词元统计和对话上下文的角度讨论对话状态,因此在持续聊天中,应用程序往往需要管理应包含哪些先前消息。可参见 OpenAI 的对话状态指南。
哪些内容会计入上下文窗口?
上下文窗口可以包含的不只是你输入的可见消息。根据 AI 应用的不同,它可能包括:
- 用于引导模型行为的系统指令或开发者指令
- 你最新的提示
- 对话中的早先轮次
- 上传的文档文本或摘录
- 从搜索索引、知识库或数据库中检索到的段落
- 返回给模型的工具输出
- 模型正在生成的回答
这就是为什么在用户看来相似的两个提示,在 AI 产品内部可能表现不同。一次长期聊天中的简短问题,实际上可能会连同许多先前消息一起提交。关于文档的问题可能会包含文件中的若干选定摘录。如果应用程序设计了检索功能,客服机器人还可能包含账户说明或帮助中心段落。
关键在于:模型只能处理当前互动允许的上下文中提供的信息。
词元与单词:为什么这种差异很重要
AI 上下文窗口通常以词元计量。词元可以是一个完整单词、单词的一部分、标点、空白符,或其他文本单位,具体取决于模型的分词器。由于分词方式不同,词元限制并不能完全换算成固定的字数或页数。
这在实践中有三个重要原因:
- 长文本可能比预期更早触及限制。大型文档、代码文件或文字记录可能无法完整放入。
- 输出也会占用空间。如果模型必须生成较长的回答,应用可能需要为这段回答预留空间。
- 成本和性能也可能受到影响。许多AI系统按词元统计使用量,因此发送不必要的文本可能会增加成本,或拖慢交互速度。
对非技术用户来说,最简单的规则是:不要把上下文窗口理解成页数限制,而要把它看作一种文本预算,会因模型和应用而异。
上下文窗口满了会怎样?
当对话、文档或辅助材料的长度超过可用的上下文窗口时,应用就必须决定纳入哪些内容。常见做法包括:
- 截断:删除较早或相关性较低的内容。
- 摘要:先把较长的聊天记录或文档压缩,再重新引入。
- 选择性纳入:只把最相关的摘录加入提示词。
- 省略:有些材料因为放不下,会被完全排除。
具体行为取决于产品。有的聊天机器人可能会丢弃较早的消息;有的可能会对这些消息做摘要。文档助手可能会搜索文件,只纳入看起来与你的问题相关的段落。
这就是为什么模型可能对近期细节回答得很好,却对长对话中很早以前埋下的信息表现不佳。早先的细节可能已经不在当前上下文中,或者只以摘要形式存在,导致细微差别丢失。
上下文窗口与AI记忆
上下文窗口并不等同于AI记忆。
- 上下文窗口:模型在当前交互中可用的信息。
- 记忆:在当前提示词之外,跨会话保存或重新引入的信息。
例如,如果AI助手记得你偏好简洁回答,这一偏好可能由应用保存,并插入到后续提示词中。一旦插入,它就成为那次交互上下文的一部分。但保存机制本身与模型原生的上下文窗口是分开的。
这种区别也适用于数据库、嵌入和向量搜索。向量数据库可以存储大量信息,但模型并不会自动一次性考虑所有内容。应用必须检索选定的材料,并把它们放入上下文窗口。
为什么上下文窗口大小很重要
更大的上下文窗口能让AI系统有更多空间纳入相关信息。这有助于完成以下任务:
- 查看较长的聊天记录
- 总结长篇文档
- 比较多段政策或法律摘录
- 处理分布在多个文件中的代码
- 处理带有既往上下文的客户支持对话
- 分析研究说明、文字记录或产品需求
不过,大小并不是唯一因素。更大的窗口可以纳入更多文本,但并不保证模型会准确使用每一个细节,或优先关注最重要的段落。处理长上下文任务时,清晰的提示词、相关摘录和良好的信息组织仍然很有帮助。
更大的上下文窗口会让AI更准确吗?
不会自动如此。更大的上下文窗口可以提高模型获得所需信息的可能性,尤其是在处理长文档或多步骤对话时。但准确性不只取决于信息是否可用。
模型仍然需要识别相关细节、遵循指令、基于材料进行推理,并避免被无关或相互冲突的文本干扰。如果你粘贴一份很长的文档,却只提出一个模糊的问题,模型可能会漏掉真正重要的部分。如果你提供一段简明摘录并提出具体问题,即使总体上下文更少,答案也可能更好。
可以这样理解:
- 较小的上下文窗口可能放不下正确的信息。
- 较大的上下文窗口可以让正确的信息放得进去。
- 但两者都不能保证模型会完美地使用这些信息。
RAG 与上下文窗口的关系
检索增强生成通常称为 RAG,是一种帮助应用应对上下文限制的设计模式。应用不会把整个知识库都放进提示中,而是搜索外部内容,选出相关段落,再把这些段落插入上下文窗口。
RAG 不会消除上下文窗口。它管理的是哪些内容进入上下文窗口。
例如,客服机器人可能会把数千篇帮助文章存放在模型之外。当客户询问账单问题时,应用会检索出几段相关内容并把它们放入提示中。随后,模型会根据选中的信息作答。
这个限制很重要:如果检索选错了段落、遗漏了关键细节,或纳入了过时信息,模型的答案仍然可能不完整或有误。RAG 是一种选择上下文的方式,并不是正确性的保证。
在上下文窗口内工作的最佳实践
你不需要知道某个模型的精确词元上限,也能更有效地使用 AI 工具。目标是让模型更容易使用最相关的信息。
1. 把最重要的信息放在请求附近
如果某个事实至关重要,就把它写进当前提示,或放在问题前的一段简短摘要中。不要假设模型会保留一段长对话早些时候出现的每一个细节。
2. 提出聚焦的问题
像`分析这整份文档`这样宽泛的提示,给模型的指引很少。像`找出这段合同摘录中的终止条款,并解释每一条的实际影响`这样聚焦的提示,会给模型一个更清晰的目标。
3. 尽可能提供摘录,而不是整个文件
如果你知道哪一部分重要,就粘贴或上传那一部分,而不是加入大量无关文本。这样可以减少上下文窗口中的干扰内容。
4. 在切换任务前总结长对话
如果一段聊天已经进行了很多轮,可以要求模型简要总结已做决定、约束条件和未解决问题。然后把这份摘要作为下一项任务的起点。
5. 将指令与源材料分开
明确哪些文本是任务,哪些文本是参考材料。例如:
- `任务:用通俗语言总结风险。`
- `源文本:[粘贴摘录]`
这有助于减少歧义,尤其是在源文本包含指令、评论或无关部分时。
6. 要求模型说明假设
对于复杂任务,可以要求模型列出任何假设或缺失信息。这样能暴露出必要上下文没有提供的情况。
运行一个小型上下文组装实验
本练习使用虚构商店资料和刻意缩小的单词预算。我们实际运行了下方Python脚本,并原样列出输出。脚本不调用AI模型,检查的是组装后保留了哪些依据,而非答案准确率。
示例包含什么
规则说明:有收据的未拆封商品可在十四天内退货。之后是一段无关的商店介绍,最后是有关退货期限的问题。三个片段的ID分别为policy、background和question。
预算与方法
仅在本教学例子中,总容量设为按空白分隔的48个单词。为答案预留12个、指令预留8个,原文剩余28个。这些是虚构的教学数值,并非服务商的词元上限。词元不等于单词。实际系统应使用目标模型的分词器或词元计数工具,并遵循该模型的输入、输出限制。
两种方式使用相同的原文预算。第一种从最旧片段开始整段删除,直到剩余内容放得下。第二种先明确选择policy与question,再使用相同组装规则。这是刻意简化的选择规则,并非搜索引擎或RAG性能基准。
复制并运行
将代码保存为context_demo.py,运行python3 context_demo.py。只需要Python 3,无需额外包、API密钥、账号或网络连接。为保证单词数一致,所有语言版本都使用相同的英文测试资料。
"""Fictional context-packing exercise. No model, network, or paid API."""
LIMIT = 48
ANSWER_RESERVE = 12
INSTRUCTION_WORDS = 8
BUDGET = LIMIT - ANSWER_RESERVE - INSTRUCTION_WORDS
CHUNKS = [
('policy', 'Unopened items may be returned within fourteen days after delivery with a receipt.'),
('background', 'Our fictional shop sells notebooks pencils folders erasers rulers and many other office supplies.'),
('question', 'Which return window applies to an unopened item when the customer has a receipt?'),
]
def size(rows):
return sum(len(text.split()) for _, text in rows)
def newest_whole_chunks(rows, budget):
kept = list(rows)
while kept and size(kept) > budget:
kept.pop(0)
return kept
def report(name, rows):
print(name, 'ids=' + ','.join(key for key, _ in rows),
'words=' + str(size(rows)),
'policy_present=' + str(any(key == 'policy' for key, _ in rows)))
def main():
print('passage_budget=' + str(BUDGET))
report('recent_only', newest_whole_chunks(CHUNKS, BUDGET))
selected = [row for row in CHUNKS if row[0] in ('policy', 'question')]
report('explicit_selection', newest_whole_chunks(selected, BUDGET))
if __name__ == '__main__':
main()
实际运行输出
passage_budget=28
recent_only ids=background,question words=28 policy_present=False
explicit_selection ids=policy,question words=27 policy_present=True
如何理解结果
仅保留近期片段的方式使用28个单词,却丢失退货规则。明确选择的方式使用27个单词,保留规则与问题。两者都满足预算,只有一种保留了依照这些资料作答所需的依据。因此,填满容量不等于输入有用。
本实验不证明真实聊天机器人一定整条删除消息,也不证明选择依据就能保证答对。不同应用的截断、摘要、检索方式不同,模型也可能误读已经存在的依据。
尝试改变两个条件
把LIMIT改为40:原文预算变成20,两种方式都只保留question,丢失规则。把LIMIT改为64:原文预算为44,recent_only也会保留policy,background,question全部41个单词。结果同时取决于选择方式和可用容量。
用于自己任务的检查
让AI总结或判断前,先写出答案所必需的准确规则或事实。检查实际传入的摘录,而不只是原始文档,确认依据仍然存在。若缺失,补回依据或减少无关内容。若存在,仍须单独核查答案。依据存在是依照资料作答的条件,并非准确率分数。
常见问题
用一句话说,什么是 AI 上下文窗口?
AI 上下文窗口是指模型在同一时间能够综合考虑的文本量,包括提示词、对话历史、辅助材料以及生成的回复。
上下文窗口和记忆是一回事吗?
不是。上下文窗口是当前交互的临时工作空间。记忆通常指在这个即时窗口之外存储或重新引入的信息,例如已保存的偏好或此前会话的说明。
所有 AI 模型的上下文窗口大小都一样吗?
不是。上下文限制会因模型和提供方而异,也可能随时间变化。应查看提供方的最新文档,而不是依赖某个固定的通用数字。
上下文窗口包括 AI 的回答吗?
在许多模型 API 中,token 计量同时包括输入和输出。例如,Google 的 Gemini API 文档会用输入加输出来解释 token 限制,并指出限制因模型而异。
更大的上下文窗口一定意味着答案更好吗?
不是。更大的窗口可以容纳更多信息,但模型仍然必须找到并使用正确的细节。清晰的提示词和相关摘录仍然很重要。
RAG 能取代大型上下文窗口吗?
不完全能。RAG 可以通过检索相关外部信息并将其加入提示词来提供帮助,但选出的材料仍然必须放进模型的上下文窗口。
要点
上下文窗口是 AI 模型在当前交互中的工作文本限制。它决定了模型能考虑什么、哪些内容会被排除,以及为什么长对话或长文档常常需要摘要、摘录或检索。更大的窗口很有用,但最佳结果通常来自充足上下文与聚焦且相关的信息相结合。
