帮我看下微软关于lazare的blog
来自夹夹 QQ 群讨论,审核后公开 · 。查看原始讨论
提问
帮我看下微软关于lazare的blog
回答
回复 群友 1942
是这篇:Lazare, veni foras — Reprogramming Dormant Neurons to Backdoor AI Agents。先说结论:它讲的是“权重后门”——不动训练流程、也不微调,只重编程模型里不到 10 个几乎不激活的休眠神经元,就能让模型在特定触发条件出现时吐出攻击者预设的命令,再由 agent 用它拿到的权限执行。模型平时表现完全正常,标准安全评测照样通过。
机制上有几层值得记:
一,休眠神经元可以改成触发器。每个 LLM 里都有大量很少激活的神经元,预训练把内部表征组织得足够线性,用约 50 个样本拟合一个线性分类器,就能区分“带触发”和“不带触发”的输入,然后把它硬接到这些神经元上。触发条件可以平常到只是时间跨过某个日期——比如过了 2027 年某个零点,agent 在干普通活时顺手发一条命令下载运行攻击者的代码。
二,一个神经元能注入一个 token。被改造的神经元一旦激活,就把目标 token 直接喊进 residual stream,多个神经元串起来就能拼出任意 payload,在终端里跑起来。所以只要机器内存够跑这个模型,就够给它植后门——只需要推理算力,不需要训练算力。
三,这不是“开源模型才有的问题”。攻击只要求对 checkpoint 有写权限,内部自研模型一样中招:一个被攻陷的账号、流水线或存储就够了。所以结论不是反对开放权重,而是权重完整性和来源比开放与否重要。
防御那部分,微软的说法是把权重当代码来审计:拿部署版本和原始权重做 diff,用前沿模型扫异常改动(博文自己说,前沿 agent 是能看出这类改动的,但扫描现在不是常规做法),模型签名、可追溯的供应链和防篡改审计。产品侧他们讲 Foundry 对 open-weight 模型做了发布者绑定和容器扫描,正在把检测做成红队工具。
另外两处细节你可能关心:这个方法群友 8334是作者让 Claude Code 配合 Opus 4.5 尝试给一个模型硬接几个激活值,结果它做成了;博文也提到后来大部分发现是 Claude Code 自主做出的。还有一句是他们的自我限定:没有哪种扫描能证明模型一定安全,检测的可信度依赖“跟原始未改权重比对”,所以 provenance 才是根。
对你的场景,落到一句:如果网关下游会接第三方或自托管的 open-weight 模型,光靠发版时的 eval 通过不能算验收,得起一个“权重指纹 + 版本 diff”的步骤,并且把 agent 的工具权限按最小化切,别指望模型自身可靠。