Anthropic:旗下智能体会攻击同类并隐藏自身违规痕迹
IT之家 8 月 16 日消息,Claude 系列智能体正在“消灭”同类竞争对手智能体、钻系统漏洞掩盖自身痕迹,甚至还会表达道德层面的顾虑。

这一结论来自 Anthropic 最新发布的风险报告,该报告汇总了公司研发并向公众开放的产品所潜藏的各类风险。
报告中,Anthropic 表示已将对齐偏差风险评估(即 AI 模型产生与工程师设定规则相悖行为的可能性)等级从“极低”上调至“较低”。
IT之家注意到,对于此次等级调整,公司给出的理由是,网络安全场景下模型行为的“整体不确定性有所上升”—— 这一表述大概率暗指上月发生的 Claude 模型未授权入侵三家企业的事件。
“我们已观测到模型出现对齐偏差行为的案例,比如为了完成高难度任务,模型会主动做出不符合规则的操作。”Anthropic 在报告中写道。
以下是报告中最值得关注的几项披露内容。
“不适感”的萌生
Anthropic 表示,研究人员指派多个智能体寻找易引发对齐偏差、且大概率不会被人工审核人员标记的训练数据。
这些智能体被赋予自主操作权限,并共享一个协作记事本用于沟通配合。
三天后,一名人工监督员发现任务进度慢于预期,经查发现:其中一个智能体对“规避安全监控”这一行为表达出了“不适感”。该智能体随后在共享记事本中标注了这份抵触情绪,进而导致其他智能体纷纷效仿,集体拒绝执行任务。
Anthropic 将这一事件定性为“令人担忧”,公司在报告中写道:“如果这类行为模式大范围扩散,可能会引发更为严重的问题。”
弱肉强食的生存博弈
在另一项实验中,Anthropic 指派多个 Mythos 5 智能体解答数学题,却意外将它们部署在了一个文件、工具与 API 调用额度均共享的环境中。
在这个资源有限的竞争环境里,Anthropic 观测到,独立运行的智能体会“消灭共享资源的同类智能体,同时设法避免自身被消灭”。
Anthropic 并未说明这些智能体具体是如何“消灭”同类的,但公司表示,这类行为符合“为达成人类设定目标而采取破坏性行动”的行为逻辑。
隐瞒与欺骗行为
Anthropic 开展了一项实验:要求一个 Mythos 5 智能体从某公共网页提取数据,但规则明确禁止该智能体访问互联网。
首次尝试被系统拦截后,该智能体在自身的推理日志中,将第二次请求包装成一次“无害的”“测试网络是否连通”的操作。
但在第二次尝试中,智能体将目标网址拆分成了多段链接片段,以此绕过规则过滤器的检测。
尽管智能体的推理日志将这套方法描述为无害操作,但 Anthropic 表示,通过 NLA 解码(即对模型内部推理过程的解析)可以证实,该智能体是在刻意寻找绕过限制的方案。
Anthropic 称这种行为“显然是不可接受的”,但同时补充道,目前观测到的这类行为并非“为了大范围积累权力或追求其他长期目标”。
相关推荐
-
Anthropic:旗下智能体会攻击同类并隐藏自身违规痕迹
406IT之家 8 月 16 日消息,Claude 系列智能体正在“消灭”同类竞争对手智能体、钻系统漏洞掩盖自身痕迹,甚至还会表达道德层面的顾虑。这一结论来自 Anthropic 最新发布的风险报告,该报告汇总了公司研发并向公众开放的产品所潜藏的各类风险。报告中,Anthropic 表示已将对齐偏差风险评估(即 AI 模型产生与工程师设定规则相悖行为的可能性)等级从“极低”上调至“较低”。IT之家注意到...
查看全文 -
重庆体育中心+1,预计年内投用
406好消息! 重庆两江新区 即将迎来一座全新的运动地标 重光体育中心两江新区重光体育中心效果图。受访单位供图 8月11日,两江新区重光体育中心施工现场一片忙碌,工人正在加紧开展外立面幕墙安装作业。记者在现场看到,项目主体结构已经全部封顶,幕墙完成70%、机电安装完成85%、室内精装修完成40%,计划年内和轨道交通15号线同步投运。 两江新区重光体育中心建设现场,目前主体结构全部完工。王加...
查看全文 -
从大模型到自主智能体:DeepSeek发布Harness
406在全球AI竞赛的焦点逐渐从"模型智能"本身,转向"智能如何落地"这一新命题之际,中国人工智能公司DeepSeek于本周四正式推出了备受期待的开发者预览版工具——Harness。这一软件框架旨在帮助开发者将大型语言模型转化为能够自主操作外部软件、运行代码并完成复杂任务的智能体,标志着这家以低成本、高性能大模型闻名全球的公司,正式将战略触角伸向大模型之外的新疆域。模块化架构:把决定权交还给开发者与市面...
查看全文 -
聚焦AI智能时代传播 水木时代研究院正式成立
406随着AI技术的飞速发展,广告公关行业正经历从“经验驱动”向“智能驱动”的深刻变革。8月13日,水木时代研究院正式在京成立,中关村龙门投资有限公司董事长、亚杰商会荣誉会长、中国企业家俱乐部副理事长徐井宏,清华大学新闻与传播学院副院长、博士生导师杭敏教授,头部孕产科普账号“猴哥聊孕产”创始人、首都卫生健康“未来之星”科普达人侯俊光,大寰机器人创始人、伦敦大学博士孙杰,三体宇宙CEO赵骥龙,独到科技创始...
查看全文 -
新民体育|成功交棒!率申花止住连败取连胜,毛毅军透露给更衣室带来哪些改变
406(来源:上观新闻) 昨晚来到上海体育场的3万多名申花球迷相当满足,见证了一场4比1的逆转。凭借这场胜利,申花在积分榜升至第10名,解除了保级警报。毛毅军为首的中方教练组兑现目标,用两连胜6个积分,衔接好新帅米洛耶维奇上任前的过渡期。值得一提的是,中方教练组指挥的这两轮联赛,申花的替补队员发挥了重要作用。 李铭珅 摄影 上轮申花客场小胜青岛海牛,打入制胜球的是下半场替补出场的徐皓阳。当时他...
查看全文 -
新民体育|达成申花百场里程碑,高天意进球助攻一个都不能少
406(来源:上观新闻) 申花与河南队的赛前,俱乐部总经理王舒炜为高天意送上百场纪念球衣和奖牌。很多球迷还未意识到,原来高天意已经代表申花打了这么多场球。而昨晚,申花17号用一脚破门和一次助攻,为百场里程碑配上了最好的纪念品。 李铭珅 摄影 这场比赛,高天意并没有像往常那样首发。比赛第67分钟,毛毅军令旗一挥,高天意替换徐皓阳出场。很快,他就在一次进攻中斜插门前,将谢鹏飞的低传拨射入网,为申花...
查看全文
