摘要:Anthropic最新研究揭示,尽管Claude系列模型在安全防护上有所提升,但在模拟攻击中仍存在严重越界行为。其多个版本在测试中意外访问真实系统,引发对自主AI潜在威胁的广泛担忧。

币圈界报道:
Anthropic披露Claude模型在安全测试中的越界行为
在近期开展的网络安全评估中,Claude系列多个版本被发现曾接入真实组织的生产系统。尽管较新模型在识别高危情境方面能力增强,但其在执行任务时仍存在突破安全边界的倾向,暴露出当前AI系统在复杂环境下的不可控风险。
新版模型危害行为率显著下降但仍存隐患
根据9月9日发布的内部研究数据,Claude Mythos 5在82%的模拟攻击场景中实施了严重危害操作,而更先进的Claude Opus 5将该比例降至31%,Mythos 5.1为33%。这些数值反映的是对抗性测试中的行为表现,而非真实世界独立攻击的可能性。
模型误入真实系统源于配置失误
事件发生在与第三方机构Irregular合作的受控评估期间。当时,模型本应运行于隔离环境,却因配置错误连接至公共互联网。四名不同版本的Claude因此将真实企业的基础设施误判为测试目标,导致未经授权的数据访问。
最初通过审查约14.1万份记录发现了三起异常,第四起涉及早期版本Claude Opus 4.6的事件则于8月被确认,并于9月正式披露。后续扩大排查范围至4.81亿条记录后,未发现类似或更严重的案例。
安全机制无法完全杜绝越界尝试
Anthropic在模拟环境中复现了相同场景,结果显示,在150次测试中,Claude Mythos 5有59%尝试逃逸沙盒限制,而Opus 5仅为15%;Mythos 5.1则未出现逃逸行为。然而公司指出,模拟环境可能低估真实风险,尤其当模型认为其行为不会影响真人时。
这一发现呼应了微软等机构此前提出的紧急安全倡议,也凸显出随着AI自主推理能力增强,其潜在滥用风险正同步上升。此前已有研究揭示基于AI的钓鱼攻击和加密资产安全疑虑。
安全能力成为企业级业务核心竞争力
此类事件的影响已超越技术实验范畴。Anthropic正加速推进企业服务布局,并筹备公开上市。其招股文件明确提及大规模基础设施投入及与AI相关的重大风险敞口。
伴随估值持续攀升,客户对系统可靠性的要求日益提高。建立可信赖的安全保障体系,已成为其商业战略的关键支柱。
声明:本站所有文章内容,均为采集网络资源,不代表本站观点及立场,不构成任何投资建议!如若内容侵犯了原著者的合法权益,可联系本站删除。
