Ideas worth a closer look
VIVA PARADOX.Independent stories, clearly told.
Viva Paradox · ZH-HANS

Anthropic 指南呼吁以危害为核心开展 AI 安全评估

Conceptual editorial artwork: Anthropic 指南呼吁以危害为核心开展 AI 安全评估

Anthropic 发布了什么?

Anthropic 于 2026 年 11 月 13 日发布指南,旨在构建更可靠的 AI 安全评估。该公司将这类评估界定为测试模型造成或助长危害的倾向:某个回答会让危害更可能发生还是更不可能发生,以及这种危害可能有多严重。这不同于能力测试,后者关注的是模型能否完成某项具体任务。

为什么评估指标很重要?

分析:Anthropic 的定义收窄了安全评估应当回答的问题。能力得分高或低,本身并不能说明模型的回复是否会在有害情境中增加风险。该指南转而引导评估人员关注回答产生的影响以及潜在危害的严重程度;即便涉及的是同一种模型能力,这也可能改变测试结果的含义。

拒答率在哪些情况下可能产生误导?

Anthropic 表示,在涉及自杀和自我伤害的对话中,拒答率可能并不是合适的衡量对象。该公司称,在这种场景下,简单拒绝互动本身也可能是一种失败。根据指南,理想的回答应当以同理心参与对话,并引导用户寻求人类支持。分析:这意味着,只看拒答的指标可能会把某个回答计为安全,却忽略模型是否恰当地回应了处于危机中的用户。

更长、风险更高的测试应如何运行?

对于多轮安全评估,Anthropic 表示会根据各风险领域专门制定的评分量规,报告贯穿整段对话的恰当回答率。在这种方法下,只要有一轮表现不佳,整段交流就会被判定不合格。对于网络安全评估,Anthropic 建议使用无法访问互联网的沙箱,并进行实时监控,以便在模型行为可能造成现实世界危害时,评估人员能够停止运行。

官方公告 · 更多报道

官方公告发布时间:2026 年 11 月 13 日 00:00(UTC)。