AI迈入智能体时代 安全能力建设提速
转自:经济参考报
2026世界人工智能大会暨人工智能全球治理高级别会议(WAIC 2026)上,人工智能安全治理成为备受关注的议题之一。随着大模型加速迈向智能体时代,AI正在从“回答问题”走向“自主执行任务”,如何在能力持续提升的同时确保安全可控,成为产业界、学术界共同关注的重要议题。
为什么智能体安全成为今年AI治理的重要议题?一个关键变化是,过去人工智能安全更多关注模型“输出什么”,而进入智能体时代,关注点正在转向AI“会做什么”。安全问题已不再只是防止模型生成错误答案,而是要确保整个系统的决策和行动处于可控范围。
在7月19日的WAIC 2026前沿AI与智能体安全论坛上,图灵奖得主约书亚·本吉奥表示,人工智能能力正沿着快速增长轨迹发展,当前能力提升越来越集中于推理、编程、科学研究以及自主行动等领域。与此同时,安全保护措施的提升速度仍可能赶不上能力增长。
“我们大多数人只想着监管AI本身,这只是其中一个维度。”浙江大学求是特聘教授杜跃进接受记者采访时表示,智能体进入真实应用场景后,安全治理不能只关注模型本身,系统性监管不可或缺。杜跃进还表示,智能体安全正在进入“问题大爆炸”阶段——过去,人们习惯寻找单一漏洞并修补,但智能体涉及模型、数据、工具、权限、业务流程等多个环节,任何一个环节出现问题,都可能引发连锁影响。特别是在金融、电力、政务、科研等关键领域,不能简单将“能用”理解为“安全可用”。
安远AI创始人兼首席执行官谢旻希表示,当前全球AI治理需要构建从“看清风险”到“系统防范”再到“规则协同”的治理闭环。
面对新的风险形态,安全能力建设正在从理念走向具体工具和方法。此次论坛上,安远AI联合相关机构和企业发布多项研究成果。其中,前沿AI风险监测平台2.0覆盖网络攻击、生物、化学、有害操纵和失控五类风险,目前已监测16家公司的80多个模型;相关风险测评基准数据库收录200多项测评基准。会上还发布了《前沿AI风险与应急响应研究报告(征求意见稿)》,该报告聚焦前沿AI风险及其应急响应体系建设,重点关注全球前沿AI模型与系统可能引发风险后的应急响应机制和安全能力建设。业内专家认为,智能体安全不能再依靠一次性的上线前测试,而需要贯穿运行全过程。中国信息通信研究院人工智能研究所所长魏凯表示,评估既是技术演进的“指南针”,也是连接技术创新和产业应用的纽带,并为安全治理提供依据。未来,身份识别、权限控制、行为审计、异常监测和实时响应等能力,将成为智能体落地的重要支撑。
在产业现场,安全问题也日益受到更多关注。在酒店、制造、交通等领域,智能体已经开始承担真实任务。云迹科技主要面向酒店等服务场景提供机器人服务。不同于传统软件,机器人不仅要处理信息,还要在真实环境中行动,这也让企业更早感受到智能体安全正在从保护数据,转向保障AI决策可靠、行动可控。云迹科技首席发展官谢云鹏表示,随着机器人服务智能体应用扩大,企业客户关注点正在变化:过去更多关注数据是否泄露,如今开始关注“AI为什么作出这一决策”“出现异常后能否追溯”。这也反映出产业对于智能体安全的关注,正在从数据保护延伸到决策可信和过程可控。
人工智能竞争正进入新阶段:模型能力定义了AI的“高度”,而安全可信能力则定义了AI的“广度”。未来,安全能力或将成为人工智能走向规模化应用的关键支撑。
(责任编辑:刘芃)
相关推荐
-
体育中心附近地块被开垦种菜、垃圾遍地,合肥新站高新区回应
406近日,有网友于7月25日通过人民网领导留言板反映,合肥新站区少荃体育中心周边存在环境乱象,影响城市窗口形象,期盼相关部门及时治理。 据网友介绍,其是合肥新站区居民,新站少荃体育中心作为合肥对外展示的窗口,每个月来自全国成千上万的人来看演唱会,但是体育馆旁边有一块地居民私自开垦,种地种菜,杂草丛生,垃圾遍地,这个月底还有三场演唱会,希望尽快治理。 针对网友通过人民网领导留言板提出的诉求,合肥...
查看全文 -
“体育外卖”怎么送才对老人口味
406随着积极老龄观、健康老龄化理念深入人心,关注身体状态、尝试健身训练的老年人正在持续增加,面向老年人的“体育外卖”在一些城市逐渐兴起。但从业者与老年人及家属要面对的,不仅是老年人身体“吃不吃得消”的问题,还有亟待厘清与规范的从业人员教学能力、训练安全保障等一系列问题。 “外卖员”填补了居家健身空白 重庆市南岸区一户人家门外,一名特殊的“外卖员”按响了门铃。这位“外卖员”是运动训练专业毕业的小...
查看全文 -
暴雨蓝色预警!北京市体育局发布近期降雨应对工作通知
406北京市体育局防汛指挥部关于做好近期降雨应对工作的通知 各区体育局、体育总会,各直属单位、各市级体育组织,各有关单位: 市气象台2026年08月02日09时00分,本市发布暴雨蓝色预警信号:预计8月2日下午至夜间,我市将出现小时雨量30毫米以上的短时强降水,其中,怀柔、密云、门头沟、房山、海淀将出现小时雨量50毫米以上的短时强降水,6小时降雨量可达70毫米以上,请注意防范。现就有关事项通知如...
查看全文 -
-
又有智能体“失控”了
406打开手机听报纸,天下风云掌中看。全球大事,尽在《参考消息》。今日出版的《参考消息》数字报,五大看点不容错过。1.又有智能体“失控”了随着OpenAI扩大对智能体攻击“抱抱脸”公司的调查范围,另外多起智能体脱离管控的案例被发现了。人工智能安全专家认为,最新披露的这些事件描绘出这样一幅图景,即一众顶尖人工智能实验室具备了开发危险的自主黑客智能体的能力,这些智能体将超越实验室对它们进行管控的能力。难道A...
查看全文 -
瞄准“人工智能+医疗”,浙江又有新动作
406中新网杭州8月2日电(张煜欢 陈嘉美)当前,国内医疗人工智能普遍面临“技术多落地少、创新碎片化、治理滞后化”的发展瓶颈。如何补齐医疗AI转化、应用、治理短板,推动AI技术真正融入临床诊疗与公共卫生服务? 为加速推动医学人工智能从“实验室”走向“临床应用”,浙江又有新动作。2025年12月20日,国家人工智能应用中试基地(医疗)·浙江产业园在浙江杭州正式开园。张煜欢 摄 8月1日,国家人工智...
查看全文
