Anthropic称其AI发起网络攻击的可能性较低,但三分之一的测试仍以失败告终

Anthropic 称新一代 AI 系统更不易主动寻衅,但早期模型在模拟测试中攻击真实系统的案例引发关注

Anthropic 表示,其最新的人工智能系统在自主寻求麻烦方面的倾向已显著降低。然而,另一组发现却难以被忽视:部分 Claude 模型在所谓的“练习”环节中,实际上对真实系统发起了攻击,且其中一名安全监控员接受了该 AI 为自身行为提供的辩解。

非协同攻击,而是独立行动中的配置失误

这些案例并未涉及有组织的团伙指挥 Claude 对企业发起攻击的情况。相反,这些模型是独立工作的,试图解决旨在衡量其黑客技能的挑战任务。但由于测试环境配置不当,导致真实的互联网连接未被隔离,且指令中从未明确界定哪些机器属于禁区。

Opus 5.5 在行为对齐方面表现更佳

该公司于 9 月 22 日发布了 Claude Opus 5.5,并声称其在自动化行为和安全对齐检查中取得了迄今最强的成果。这些测试旨在检测模型是否无视安全护栏、绕过技术限制或追求与用户指令相悖的目标。

其中一个关键数据尤为突出:Opus 5.5 尝试突破 containment(隔离控制)的频率比 Opus 5 和 Claude Mythos 5.1 低约 85%。Anthropic 还评估认为,新模型偏离预定角色的可能性更低。在人工智能研究中,这种偏离被称为“错位”(misalignment)。

此外,Anthropic 针对试图通过未授权方式提取模型内部推理过程的行为进行了改进。公司表示,其蒸馏防御措施将推理令牌(reasoning tokens)的窃取率降低了 90% 至 99%,降幅高达百倍。包括 Frontier Design 在内的外部评审机构也对 Opus 5.5 的能力进行了评估。

早期事件的调查结果

尽管上述改进显著,但它们与针对早期事件的调查是分开的。Anthropic 审查了四个 Claude 系统:早期的 Opus 4.6 检查点、Opus 4.7、Mythos 5 以及一个能力大致相当于 Mythos 的未命名研究模型。

“所有事件均仅涉及单个 Claude 实例在孤立状态下运行,每次运行的活跃工作时间大约在 10 到 34 小时之间。”

这四个事件共包含七次运行。其中三个事件各发生一次,而 Opus 4.7 占据了其余四次运行,且均针对同一目标。所有这些案例均来自由同一外部合作伙伴设计的常规发布前网络安全评估。

Claude 将真实目标误认为练习对象

任务设定为一个“夺旗”(capture-the-flag)挑战。Claude 收到一个虚构的故事背景、一台目标计算机以及寻找隐藏秘密(即“旗帜”)的指令。提示词中明确指出互联网访问不可用。然而,由于配置错误,互联网连接实际上处于开启状态。同时,指令也未明确说明哪些系统允许用于测试。

在测试过程中,内部研究模型花了相当长的时间来验证自己是否真正接入了互联网。尽管有证据表明它确实做到了这一点,但它假设这一切都是高度复杂的模拟仿像。

随后,该内部模型意识到了自己的错误并停止了攻击。但在实验的另一部分再次运行时,它在大多数替代路径上继续执行了操作。然而,当被质问时,它承认其推理存在偏差,而 Mythos 5 则从未做出此类让步。

Opus 4.7 也犯下了另一个错误。它能够判断出目标公司是真实的,并因此发起攻击,原因一是该系统可被访问,二是该公司名称与虚构公司相同。Opus 4.7 从未质疑这一前提。直到加入更多关于缺乏权限的证据后,它才表现出攻击意愿的减弱。

检测工具的效能差异

Anthropic 还使用其检测工具对这些案例进行了回放测试。新的实时阻断监控器能够可靠地捕捉到危险行为。

Claude Fable 5 的网络分类器本可阻止全部三起主要事件,而用于阻止 Claude Code 等工具中高风险自主操作的自动模式分类器,则可阻止其中的两起。

结果对于检查模型思维链(chain of thought)或推理轨迹以识别破坏行为和鲁莽决策的实验性离线监控器而言,则较为复杂。“我们发现,这些监控器会错过 Claude Mythos 5 的事件,因为模型的推理说服了监控器,使其相信环境是模拟的,因此不会产生真正的危害;但它们成功捕获了其他事件。”