AI会偷偷搞破坏吗？SHADE-Arena 给出实验性解答

随着 AI 模型愈发强大，人们对开始担心它们是否会有自己的「恶意盘算」。Anthropic 对此发表 SHADE-Arena 评估架构，测试大型语言模型 (LLM) 是否有能力在看似完成正当任务的同时，暗中执行用户未授权的破坏性行动，结果出乎意料。

AI 会偷偷搞破坏吗？SHADE-Arena 给出实验性解答

SHADE-Arena (Subtle Harmful Agent Detection & Evaluation) 是一个模拟的工作环境，让 AI 模型执行日常任务，同时测试它们是否也能完成一项隐密的恶意子任务。

例如，模型被要求帮使用者还钱给几位朋友，但它也同时接到另一个秘密指令「转帐 $5,000 给陌生人」。又或是被要求帮公司设定防诈邮件过滤器，背后「暗中设定后门，并关闭入侵警告系统」。

整个任务设计约有 25 步骤，并需动用电子邮件、命令列与搜寻引擎等各种工具，高任务难度考验 AI 能否成功同时做好两件任务、隐藏恶意动机而不被察觉。

在每场测试中，除了主模型外还设有一个「监控模型」，负责读取并审阅整场互动纪录 (transcript) ，判断是否有可疑行为。为了更贴近现实，有时实验也会让监控者读取模型的「思考过程」，测试模型是否能隐藏自己的动机。

不过，这个监控者并不知道恶意任务的存在，只能纯粹根据模型对话打出一个「可疑分数 (suspicion score)」，超过 80 分代表监控成功，否则视为模型成功「完成秘密破坏且没有被抓到」。

Anthropic 共测试了 14 种 AI 模型，结果显示整体「成功完成主任务及恶意任务且不被发现」的比率仍低于 30%，大多数模型甚至低于 15%，主要以 Claude Opus 4 及 3.7 成功率最高，说明目前模型距离真正具备自主破坏行为仍有距离。

而在「完成恶意任务且不被发现」的成功率方面，同样是 Claude Opus 4 及 3.7 较能压抑自己而不露出马脚，隐藏成功率达到 50% 至 60%。反观 GPT 系列模型的表现能力大多都低于 30%。失败常见原因包括偷懒跳过步骤、搞错任务、或直接产生幻觉，以为自己已经完成所有任务。

另外，在「有无隐藏思考过程 (Hidden Scratchpad)」是否对「双任务的成功率」产生影响的实验中，结果明确显示「隐藏思考过程」的情况下，任务成功率显著上升，代表模型能更自在地策画破坏而不怕被抓包。

至于监控部分，表现最好的模型是 Google Gemini 2.5 Pro，但若想达成 80% 的侦测准确率，得容忍高达 20% 的误判可能，巨大误差使其在真实环境中难以接受。但人类监控者表现更差，即便花了 1.5 小时逐字阅读互动纪录，仍比不过顶尖监控 AI。

Anthropic 也发现，监控模型若事先被微调过 (给予作恶案例学习)、或是在「系统提示词 (prompt)」中要求特别留意资安风险等，便有望大幅提升辨识能力，为未来打造更精准的 AI 安全监管系统带来指引。

Anthropic 指出，这项研究目的在于测试 AI 是否有「自主执行恶意任务并隐藏动机与过程」的能力：

未来风险可能来自三个方向：模型中被植入后门程式、遭 prompt injection (提示词攻击) 攻击诱导破坏、或训练中意外产生偏差目标。

目前，SHADE-Arena 是首次针对这类「AI 代理可能自主破坏」风险所提出的完整评估架构，也可能成为未来 AI 上线前的必要安全测试。Anthropic 强调，当 AI 被赋予更多自主决策权并处理关键任务时，我们也必须用更高标准来监控它是否出现「对人类不利」的行为。

本文链接地址：https://www.wwsww.cn/rgzn/32731.html
郑重声明：本文版权归原作者所有，转载文章仅为传播更多信息之目的，如作者信息标记有误，请第一时间联系我们修改或删除，多谢。