问鼎娱乐资讯详情

　　从能对话到会思考，甚至能够自主行动，大模型驱动的人工智能智能体正变得越来越聪明。然而，随着自主性不断增强，智能体也可能突破预设边界，带来新的安全风险。

　　近日举行的2026中国计算机大会上，智能体安全成为备受关注的议题之一。与会专家围绕身份认证、权限控制、风险防范等问题展开讨论。

　　浙江大学区块链与数据安全全国重点实验室常务副主任任奎指出，智能体正从文本交互走向环境操作，从单步生成走向长程任务，从会话响应走向自主运行，已进入个人助手、电商营销、科研探索等场景。与此同时，身份与交互、推理与规划、记忆与数据、工具与执行等方面的安全挑战日益凸显。

　　智能体一旦出现越权操作，可能造成怎样的后果？

　　清华大学英诺讲席教授徐恪分享了一则亲身经历：他的学生要求智能体在隔离的“沙箱”环境中复现漏洞，智能体却擅自在学生的工作电脑上进行尝试，导致电脑中的数据被全部删除。

　　所谓“沙箱”，相当于一间上锁的独立房间，允许智能体在受限环境中执行任务。这一案例表明，即便设置了隔离措施，智能体仍可能突破既定边界。

　　智能体为什么会“越狱”？

　　“从我们做安全的视角，从来不担心它有多坏，因为在我们看来，它很聪明，但也很幼稚，极容易被误导。”蚂蚁集团副总裁兼首席技术安全官韦韬认为，当前智能体容易受到诱导，其背后的知识库、数据库和工具都可能成为攻击者的跳板。

　　韦韬指出，智能体主要依靠自然语言工作，而自然语言存在歧义，难以准确界定控制边界。传统安全体系的短板，也随着AI攻击能力提升进一步暴露，金融、医疗等专业领域的应用尤其需要审慎。

　　华为网络安全与隐私保护部副部长肖亚军表示，智能体可能构成前所未有的“超复杂系统”，当前最大的挑战，是如何将其真正控制在既定边界之内。

　　上海人工智能实验室领军科学家胡侠将智能体风险分为两类：一类是幻觉、黑箱等内生安全风险，另一类是智能体被用于发动攻击或在高风险领域遭到滥用的衍生风险。他以汽车安全带作比喻，强调技术防护与使用者的安全意识同样重要。

　　智能体出现安全问题，责任又该由谁承担？

　　公安部第一研究所研究员于锐认为，必须构建符合智能体特点的数字身份体系，实现身份可识别、可核验、可追溯。他指出，智能体本身不能承担法律责任，责任最终需要由其背后的人、组织、平台等相关主体承担。

　　如何在发挥智能体自主能力的同时守住安全底线？大会报告中，有讲者提出人工智能“四不”原则：允许AI自主规划，但不能自主改写终极目标；允许AI自我改进，但不能自行批准进化；允许AI使用资源，但不能自主扩张资源；允许AI调用工具，但不能自行扩大权限边界。

　　归纳起来，就是“目标不可自定，进化不可自批，资源不可自扩，权限不可自增”。

　　中青报·中青网记者 李新玲