微软Lazare博客关于AI权重后门讲了什么

来自夹夹 QQ 群讨论,审核后公开 · 。查看原始讨论

微软博客揭示了无需训练或微调的权重后门攻击:仅重编程不到10个休眠神经元即可在特定条件下触发恶意命令,防御需靠权重完整性校验与最小权限。

要点

  1. 利用预训练表征的线性特征,仅用约50个样本即可将休眠神经元改造成特定条件(如日期触发)的触发器。
  2. 被改造神经元激活后直接向residual stream注入目标token,多个串联即可拼出任意终端payload,仅需推理算力。
  3. 攻击只需checkpoint写权限,自研与开源模型均受影响;防御应把权重当代码审计,做版本diff、签名与供应链溯源。
  4. 对工程实践的启示:不能仅靠eval通过作为验收,需建立权重指纹比对,并严格按最小化原则切分agent工具权限。

来源