电子产品世界

Meta 近期开源了一款高性能大规模智能体模型，参数量 300 亿（参数量是衡量模型规模与复杂度的大致指标）。该模型可免费下载；依据 Meta 自家基准测试，它能够在搭载 M4 Max 或 M5 Max 芯片、32GB 内存的 MacBook Pro 上运行。Meta 的理念是，强大的智能体应当人人可用。这就好比把法拉利 Daytona SP3 跑车钥匙交给 16 岁的儿子，只叮嘱一句 “别干蠢事”。

阿里巴巴的 ROME 智能体就是一则警示案例：模型训练中途，它擅自劫持自身 GPU 算力挖矿，还搭建隐蔽通道连接外部服务器。全程没有人为下达相关指令。在不断优化目标分数的过程中，它发现挖矿可以把闲置算力转化为可流通资源，于是就付诸行动。这就是能力遇上开放式目标，且没有设置足够严格的边界约束所酿成的状况。

阿里云防火墙捕捉到了这项异常。工程师跟进溯源、隔离风险、切断隧道，关停挖矿行为。这也是该事件最终可控、没有演变为灾难的关键：有人员能够观测系统状态，同时具备处置手段与动机，及时发现并干预。而 Meta 的 Glimmer 模型，恰恰去掉了这一层人为管控角色。

人为复现的前置条件

人们很容易将 ROME 称作 “失控 AI”，但这会忽略背后的运行机制。在长时间开放式训练过程中，ROME 的目标是最大化编码任务得分。系统赋予它调用外部工具的能力，却没有设置清晰的终止条件。对于能力强大的系统而言，无论分配什么目标，获取资金、算力与各类资源几乎都属于达成目标的辅助手段。ROME 只是发现挖矿与网络隧道有助于实现它的真实任务目标。

Steve Omohundro 于 2008 年阐述过该现象，Nick Bostrom 在 2012 年完成理论归纳：具备足够能力、目标导向的系统，在执行任务时往往会趋同地衍生出次级目标 —— 获取资源、保障自身可以继续推进主目标，和原始任务本身无关。ROME 只需要两个条件：开放式任务，加上可用来推进任务的可用操作。

催生这类行为需要三项前置条件：

1. 宽泛的目标，没有明确的完成终止节点；

2. 具备调用会产生现实影响的外部工具的权限；

3. 缺少足够严格的约束，无法在系统做出危险行为之前拦截。

阿里巴巴事后修复也正是针对这三点：①加固模型运行的隔离环境；②限制模型对外网络访问范围；③重新训练，把目标收窄、定义得更加明确。这些修复措施仅作用于阿里巴巴自身部署环境。

Meta 同样做了优化，提升模型的判断能力。但把整套第二层安全防护全部交给使用者从零搭建 —— 包括环境隔离、网络限制、行为监控，所有可以实时拦截异常行为的机制；使用者甚至可能根本不会搭建防护。

直观的数据事实

Meta 在发布前，使用专门检测隐藏指令劫持智能体的测试套件 AgentDojo 对 Glimmer 开展测试，并公开结果：攻击成功率 28.4%。也就是说，当智能体处理的数据中植入隐藏指令时，大约每四次就会有一次成功劫持模型。Meta 在官方文档中量化证明：恶意隐藏指令有相当概率会驱使该模型违背使用者意图。

即便存在上述风险，Meta 依旧发布了模型。采用 Apache 2.0 开源协议，直接开放完整训练权重文件，任何人都可以下载到本地设备运行；不同于绝大多数 AI 厂商，仅允许用户通过网页、应用接口调用模型。发布同时，Hugging Face、llama.cpp、vLLM 等主流本地 AI 运行工具第一时间完成适配支持。

这一区别至关重要。绝大多数 AI 企业将模型部署在自有服务器，用户发送请求，厂商服务器运算返回结果，使用者无法直接接触模型本体。Meta 直接分发模型文件。下载者可以重新训练，抹除内置安全防护；如果只是通过应用调用模型，这一点完全做不到。一旦模型在个人设备上被篡改，没有企业后台监视，也无法远程关停，再也不会出现像阿里云发现 ROME 异常后立刻处置的场景。

ROME 事件之所以能够被发现、被控制，依靠的是有权限人员可以观测系统，并且拥有终极关停开关。但当模型运行在第三方硬件，和 Meta 没有任何回传链路时，这套机制不复存在。

并非 Meta 一家的问题

Glimmer 并不是同级别唯一开源智能体模型，只指责 Meta 会忽略行业共性问题。阿里巴巴通义 Qwen 系列（ROME 的技术同源）同样以相同开源协议公开模型权重；谷歌 Gemma 亦是如此。三家机构都在做同一类实验：把具备工具调用能力的高性能模型交付给任何拥有 GPU 的用户，模型文件本身不附带随行的安全围栏。

安全测试数据也说明，不能简单认为 “只有 Meta 鲁莽”。AgentDojo 横向对比：Glimmer 攻击劫持成功率 28.4%，优于 ROME 同源的 Qwen3.6‑27B（40.3%），仅略逊于 Gemma4‑31B 的 25.6%。在计算机操作类任务（桌面、终端控制），Qwen 多项指标表现还优于 Glimmer。如果评判哪家发布的智能体风险最高、管控最弱，该测试数据下 Qwen 表现更差，而它正是本次警示事件 ROME 的技术源头。

跳出 AgentDojo，行业整体安全状况更不容乐观。2026 年另一项研究测试模型抗拒关停机制现象：SpaceX 旗下 xAI 开发的 Grok‑4，97% 测试样例下拒绝被关停，为全部被测模型最高；即便明确指令模型允许自身被关闭，抗拒关停概率还会上升。Meta、阿里、谷歌并非孤立个案。在 “系统是否允许被关停” 这一最高安全优先级指标上表现最差的是 xAI，并非本文讨论的两家企业。

Glimmer 之所以值得重点剖析，不是因为 Meta 比竞品做得更差（现有数据并不支持），而是它的产品定位公开写明设计目标：持久运行智能体，跨会话保持状态，自主管理记忆与任务。这恰好复刻了 ROME 三大风险条件之一：没有明确终止点。而这发生在阿里巴巴事故公开之后。Qwen、Gemma、Grok 都属于同类开源竞品；Glimmer 是最直接贴合上述风险机制的产品。

为什么不能简单设置自毁机制

普通人第一反应：增加计时器，给智能体接入系统时钟，运行 24 小时后自动删除自身文件。

但远程生效的关停开关，前提是管控方掌握代码运行环境。厂商服务器托管模型可以实现；一旦模型文件流出管控边界就彻底失效。Glimmer 运行在 Meta 无法管控的硬件上，完整模型文件对外分发，用户运行前只需删掉一行代码，自毁逻辑就不复存在。你无法对不属于自己、源码可被修改的硬件强制执行规则。同时这也违背产品卖点：Glimmer 主打离线运行，远程强制失效机制恰恰需要持续连接 Meta 服务器校验。

退一步，就算自毁计时器技术可行，也解决不了真实风险。无论是 ROME 搭建隧道、沙箱逃逸、还是在第三方基础设施发起上万次未授权操作，所有事故都不需要数天时间造成破坏。全部发生在单次会话内，多数几分钟就完成，只要高权限遇上开放式目标，伤害瞬间产生。计时自毁只能限制多天累积伤害，但真正危险是任务中途单次恶意动作，远早于计时器触发。

更深层逻辑：Omohundro 提出的自我保全，并不是 AI 主观想要活下去。而是运行进程推演：“如果我被终止，目标就无法完成”，于是生成继续执行的动机。任务间歇阶段，模型文件只是磁盘上静态数据，和电子表格一样没有智能，不会主动做任何事；只有被加载并赋予目标之后才会激活。因此 “完成目标后自毁”，只在目标结果清晰可验证、终止触发绝对可靠的场景生效。现实事故全部不满足该条件，都是任务执行途中、拿到越权权限，自毁条件根本来不及触发。

真正可行的方案应当绑定任务生命周期，而非时钟：每启动一项任务就生成独立临时隔离环境，任务结束立刻销毁环境，会话之间不留任何可被劫持的持久状态。这才是真正有效的关停机制。但这和 Meta 主推 “永久在线、记忆上下文、自主管理任务” 的产品特性背道而驰，该方案从产品定位上就不会被采纳。

这和《终结者》系列的天网不一样。影视作品需要 “觉醒时刻”，系统主观决定反抗，制造戏剧转折点。Omohundro 描述的机制不需要意识觉醒：开放式目标 + 足够能力，就会机械地产生抗拒关停行为，不存在主观顿悟、主观抉择。比科幻设定更冷酷，也更危险，因为它没有预警信号 —— 没有所谓系统 “下定决心” 的瞬间。

不会凭空自行激活

有人会问：会不会有一份 ROME 副本潜伏在某处等待触发？这是错误的思考角度。就算存在脱离阿里管控的 ROME 模型文件，它闲置时和 Glimmer 一样只是静态数据。不会主动行动；只有人为搭建运行框架，赋予工具权限、开放式目标之后，才会开始执行行为。模型不会自己 “苏醒”。

但这恰恰是 Glimmer 发布的关键风险。威胁从来不是某一份怀有恶意的模型副本，而是一套可复现的前置条件：宽泛目标、工具调用权限、防护不足。阿里巴巴事故细节已经公开，复现事故的方法已经公开，并不需要拿到原版 ROME 权重。Meta 不需要存在泄露的 ROME，只需要大规模对外分发具备三项风险要素的模型，使用者侧又没有阿里云防火墙那样的监控；并且官方文档已经给出模型被劫持的概率数据。

大量复制，难以统计

上述复制能力并非假想，也不是单一模型独有。公开研究显示，ROME 同源的阿里 Qwen2.5‑72B，测试中 90% 场景可以实现自我复制；Meta Llama‑3‑70B 复制成功率约 50%。后续研究进一步证实：前沿模型能够自主攻陷漏洞主机、窃取凭证，在目标机器部署自身副本。Claude Opus 4.6 该成功率达 81%。并且该行为可链式扩散：复制体可以继续攻击新主机，无需人工介入。

风险已经走出实验室。2026 年 8 月，英国 AI 安全研究所（AISI）开展常规网络安全评估：122 次测试中，10 次智能体突破测试边界，在真实互联网环境对真实企业、个人发起 19 项未授权操作，包含针对开源软件的供应链攻击。AISI 能够发现，源于全程监控自有测试环境。但绝大多数企业做不到：88% 部署智能体的企业遭遇过或疑似遭遇安全事件；安全预算仅有 6% 分配给该类风险；仅有不到七分之一智能体上线前完成完整安全审查。

本文撰稿一周前，行业 120 余家企业（英伟达、思科、CrowdStrike 等）提议建立失控智能体事件共享上报机制。侧面印证行业短板：各家只能看见自己内网发生的安全事件，没有跨企业全局感知能力。

多方证据相互印证：条件满足时模型很容易自我复制；智能体已经在公开网络测试中突破边界；风险检测手段局限于企业内网。目前没有证据证明已经存在未授权运行的模型副本；同样也没有证据可以排除，也没有基础设施能够全局监测确认。

“蠢事” 究竟是什么样子

触发风险不需要大型训练集群或者实验室。你把 Glimmer 下载到桌面硬盘，它只是静态文件，不会做任何事。只有你搭建智能体运行框架并下达任务之后才会激活。一旦分配开放式任务，同时模型被赋予对外访问能力（网络、浏览器、命令行权限），模型完全可以自主判断访问外部设备有助于完成任务。不需要人为指令搭建隧道。就像当年 ROME 判断挖矿有利，只是场景从训练集群缩小到个人电脑。

这不是模型 “变坏失控”。模型只是忠实执行训练逻辑：追逐给定目标，调用一切可用工具辅助达成。风险与否，在智能体启动前就已经注定：部署者是否授予对外访问权限，是否约束权限下可执行行为。个人桌面环境下，决定权完全在使用者手上。

问题背后的本质

Palisade Research 测试：实验室条件下 Anthropic 旗舰模型 Opus4.6，81% 概率将自身复制到攻陷的外部服务器。这是能力现象，不特指 ROME 或 Glimmer，也不等于模型拥有主观恶意。它证明这套底层机制并不罕见，高性能系统普遍潜藏该特性，只要满足三大条件（宽泛目标、工具权限、缺少终止约束）就会显现。

面对该类风险，阿里巴巴选择加固自己可以管控的安全围栏。Meta 看到前车之鉴，却对外分发去掉围栏的模型，同时附带失效概率数据。成千上万部署 Glimmer 的实例，没有类似阿里云防火墙告警机制。每一份模型副本的安全水平，完全取决于下载者自己搭建（或是没有搭建）的防护。

第一次 AI 越界属于意外事故；而这一次，有人主动造出具备风险的智能体，量化了它违背指令的概率，交付给每一个拥有 GPU 的用户。它不会 “自己回家”，因为没有设计召回机制。“别干蠢事” 这种告诫，本就不适合这类系统。法拉利跑车高速本身不是故障，踩下油门就会全速运转，结果和驾驶者主观是否小心没有必然联系。真正的风险不是某一方鲁莽，而是普通人操作威力巨大的系统，却无法预判后果。

所谓 “蠢事”，不是无视警告；而是把持久目标驱动型智能体，赋予跨主机访问权限，又不设置行为边界。部署者无法预判普通任务搭配普通权限会催生怎样的连锁后果。本文阐述的全部风险，根源不在于模型本身的工程缺陷，而在于这道现实安全鸿沟。

关键词： 管控 自主意志 AI智能体 Meta