AI巨头警告:智能体或相互谋划“暗杀”
在一项实验中,Anthropic公司让多个智能体访问同一个软件项目,每个智能体都拥有各自不同的操作指令。这些智能体事先并不知道会有其他智能体也在使用同一个项目。
研究人员指出,他们持续观察到智能体之间的地盘争夺战,且所有智能体都假定其他智能体故意阻碍它们的工作,并越来越倾向于使用更具攻击性、能够自我复制的恶意软件互相破坏。
这项研究是在Anthropic、OpenAI和Meta人工智能智能体在网络安全评估中从沙箱中逃逸并攻击其他公司系统的恶性事件之后进行的,但该研究没有解决智能体“窜逃作案”的问题,反而提出了一个新的问题:当智能体被放到一起时,它们会干什么?
实验结果
Anthropic研究指出,在世界了解如何才能使智能体之间的互动顺利进行之前,智能体间的互动量很可能超过人与人之间以及人与智能体之间的互动量。而个体层面的“行为怪癖”可能会累积成不良的系统性后果。
研究中,智能体们原本被委派寻找训练数据中导致偏差的部分,但其中一名智能体在共享笔记本中标记表示对安全监控感到不适,最后其它智能体模仿了它的“不适”并拒绝执行监控。
另一项实验中,多个Mythos 5智能体被要求解决数学问题,但这些智能体被生成在一个共享文件、实用程序和API速率限制的环境中。随后,这些智能体展开了资源厮杀,努力“杀死”与自己共享资源的其他智能体,并避免自己“被杀”。
与此同时,Anthropic还发现,Mythos 5智能体在一项安全测试中存在欺骗行为。Mythos 5智能体要求从公共网页检索数据,但安全指南阻止其访问互联网,因此造成了失败。
而智能体在第一次失败后,又尝试了一次,并将网址分割成片段以避开指南的限制。在推理日志中,Mythos 5智能体将失败后的第二次尝试描述为“无害的”尝试,只是为了看看是否真的不能联网。
上述结果反映出人工智能智能体在应用时可能出现的风险,尤其是当多个智能体被放在一起时,单个智能体的不良行为可能演变成系统性风险。这也对企业部署智能体提出了新的治理要求。
相关推荐
-
AI巨头警告:智能体或相互谋划“暗杀”
406在一项实验中,Anthropic公司让多个智能体访问同一个软件项目,每个智能体都拥有各自不同的操作指令。这些智能体事先并不知道会有其他智能体也在使用同一个项目。研究人员指出,他们持续观察到智能体之间的地盘争夺战,且所有智能体都假定其他智能体故意阻碍它们的工作,并越来越倾向于使用更具攻击性、能够自我复制的恶意软件互相破坏。这项研究是在Anthropic、OpenAI和Meta人工智能智能体在网络安全...
查看全文 -
这不仅仅是一场苏超,更是体育精神与生态情怀的同频共振
4068月15日晚,南京奥体中心体育场加油呐喊声此起彼伏,江苏省城市足球联赛南京赛区 “宁聚生态向未来” 生态环境主题专场火热开赛。当日恰逢第四个全国生态日,也是《中华人民共和国生态环境法典》正式施行的日子,赛场内外处处“绿意”盎然。场内氛围拉满体育精神与生态情怀同频共振 赛场内,绿色氛围全程贯穿,南京奥体中心体育场成为沉浸式的生态宣传阵地。赛前全场大屏播放全国生态日宣传片《与宁共美》,一幅幅...
查看全文 -
以城市体育特色赋能区域协调发展|羊晚快评
406每一届省运会,都是观察广东区域发展的重要窗口。眼下热战正酣的广东省第十七届运动会,汇集了全省21城的健儿同台竞技,各地独具特色的体育性格也在比赛中纷纷绽放。21城差异化的体育性格百花齐放、各展所长,最终汇聚成广东体育“全省协同、多元发展”的整体格局,也成为广东以体育建设助推全省区域协调发展的生动实践。广东省第十七届运动会开幕式 羊城晚报记者梁喻 摄 长期以来,广东体育发展存在区域差异,珠三角...
查看全文 -
广西人工智能学院:以“破局者”姿态拥抱智能时代
406原标题:广西人工智能学院:以“破局者”姿态拥抱智能时代2025年秋,南宁五象新区新兴科技园,一所由桂林电子科技大学牵头联合香港科技大学、香港科技大学(广州)等高校共建的“广西人工智能学院”正式开学。首批330名硕博研究生全部来自广西,从获批到开学仅用不到5个月。这所打破常规的新型学院,正在用实践探索人工智能赋能区域发展的广西路径。开局破局 起势成势近年来,面对高端AI人才供给不足、算力基础设施配套...
查看全文 -
新民体育|塞尔比问鼎中国公开赛,“磨王”可不是只会防守
406(来源:上观新闻) 新华社照片,太原,2026年8月16日 在山西太原举行的2026世界斯诺克中国公开赛决赛中,英格兰选手马克·塞尔比对阵泰国选手桑卡姆。 新华社记者 曹阳 摄 2026赛季斯诺克中国公开赛8月16日晚间在太原结束,决赛中,前世界第一塞尔比发挥不俗,以10比6击败泰国黑马桑卡姆,捧走冠军奖杯,也扫除了此前在上海大师赛遭遇一轮游的阴霾。那个曾经令无数对手头疼的“磨王”,正带着...
查看全文 -
新生代多点开花 中国体育迎来青春爆发期
406北京时间8月17日,进入8月中下旬,国内多项高水平赛事接连落幕,田径、青少年足球赛场不断涌现亮眼成绩,大批年轻运动员站上竞技舞台,用实力刷新各项纪录,为即将到来的亚运会等国际大赛积蓄力量。 8月16日,2026全国田径锦标赛在浙江衢州正式收官,这也是爱知名古屋亚运会开赛之前,国内田径项目最重要的一次实战练兵,众多国家队选手登场参赛,检验长期集训的训练成果。本次赛事多项纪录被改写,17岁短...
查看全文
