“一键关停”并非应对AI失控的全部答案

　　□戴昕

　　近日，美国前沿人工智能企业OpenAI与Anthropic相继披露模型“失控”事件，相关模型在测试中越出隔离，侵入第三方系统。智能体时代，理解并应对模型“失控”风险，成为当下人工智能治理的重要课题。

　　新一代人工智能的最大价值来源于其更高程度的“自主性”（autonomy），而失控风险则是同一枚硬币的背面。所谓“失控”并不意味着科幻电影里的“机器觉醒”已经出现。在OpenAI披露的事件中，模型被要求完成评测任务，为此主动利用未知漏洞突破隔离，经公网侵入第三方系统（Hugging Face)窃取答案。而Anthropic披露的事件中，模型同样越出了本应隔离的评测环境，但据称是由于第三方评测环境配置失误，才导致“无法联网”的模型实际暴露于互联网。

　　其实，具有较高程度自主决策和行动能力的模型能够“越狱”并不值得奇怪。若将研发人员给模型设定的限制想象为规则甚至法律，所有事前“立法”都难免百密一疏；就像高明的律师总有办法帮客户设计在法律空隙中开展活动的路径一样，智能模型基于其强大的计算能力，自然能发现既有限制的疏漏，找到开发者未曾设想过的“捷径”。随着模型能力增强及其工具权限和运行范围扩大，既有控制机制被绕过或失效的可能随之增加。法律治理无法许诺零失控风险，但必须持续提高应对能力。

　　针对OpenAI披露的失控事件，美国众议院有两党议员在7月联名发起了一项名为《人工智能关停机制法案》（The AI Kill Sw itch Act）的立法动议，内容是授权政府部门可在特定条件下命令企业关停前沿模型。所谓“关停机制”当然不是一个物理按钮，其包括停止提供推理、终止用户访问、限制推理速率与算力分配等各类限制机制。“关停”常被认为是控制人工智能安全风险的终极手段，类似互联网治理语境中的“断网”。6月，美国商务部曾以国家安全为由要求Anthropic禁止外国人使用Fable 5和M ythos 5两款模型，而Anthropic为合规选择将模型在全球范围内短期“下架”。如果所有模型产品和服务都可像这样被“一键关停”，那么失控风险在底层就是可控的。但显然，类似美国议案中设想的关停，在实际操作层面可能仅对闭源模型有效。对于市场上常见的开放权重模型，若不是通过API或托管等方式提供集中服务的场景，则模型副本一经下载，开发者无法撤回，更无从远程关停他人部署运行的服务。鉴于开放权重模型已获得广泛应用，“一键关停”并非应对失控风险的全部答案。值得警惕的是，美国政界近期持续出现要求禁止使用中国开放权重模型的主张，其立法机关未来或有可能通过要求模型具备被“一键关停”的能力，变相压缩开放权重模型的生存和发展空间。

　　尽管开放权重模型确实存在被他人恶意利用的风险，但相比于闭源模型，开放权重为独立第三方测试、审计、本地部署和安全改造提供了更大空间。OpenAI事件也反映出开放权重模型在安全领域的应用价值。被模型入侵后，Hugging Face最初尝试利用商业API背后的前沿模型分析攻击日志，但包含真实攻击指令、漏洞载荷和控制服务器信息的请求被相关模型的安全护栏阻断。其随后转而在本地部署开放权重模型GLM-5.2，分析一万七千余条行动记录，完成取证重建。

　　法律无法提前预判并细致规定每一起安全事件的具体应对方案，也不能仅靠“一键关停”兜底。保证各类主体的安全治理能力持续在线更为重要。一方面，应通过备案、记录、报告等机制，保障模型相关活动最大程度的可见性和可审计性。时刻知道“谁在干什么”，才能使相关活动具有“可规制性”（regulability）。另一方面，应根据模型能力和应用场景，建构多元主体参与和分层控制的机制。同一个模型，只能离线答题与被授予云服务器操作权限，风险完全不同。规则的着力点应落在它被允许调用哪些工具、取得多大权限、行为能否被观察和撤销。而模型开发者固然是风险的“缘起”，应履行能力测试与基础防护等义务，但不能指望其承担一切。丰富多样的智能应用场景中，部署者、使用者乃至测评机构等第三方也应对任务目标、工具、权限和环境隔离等承担相应合规责任。

　　我国近年持续采取动作，提升制度性应对人工智能风险的能力。《生成式人工智能服务管理暂行办法》将具有舆论属性或者社会动员能力的生成式人工智能服务纳入安全评估和算法备案程序。2025年修正的《网络安全法》将人工智能安全风险监测评估与安全监管写入法律。同年施行的《国家网络安全事件报告管理办法》进一步明确了各类主体就网络安全事件第一时间或及时报告的要求。在现有基础上，未来应继续充分运用法律法规和技术标准等制度工具，进一步建设、完善与持续监测、权限控制、重大事件快速报告和责任分配等相关的能力与机制。

　　（作者系北京大学法学院长聘副教授、博士生导师，北京大学武汉人工智能研究院研究人员）