微软Lazare博客关于AI权重后门讲了什么
来自夹夹 QQ 群讨论,审核后公开 · 。查看原始讨论
微软博客揭示了无需训练或微调的权重后门攻击:仅重编程不到10个休眠神经元即可在特定条件下触发恶意命令,防御需靠权重完整性校验与最小权限。
要点
- 利用预训练表征的线性特征,仅用约50个样本即可将休眠神经元改造成特定条件(如日期触发)的触发器。
- 被改造神经元激活后直接向residual stream注入目标token,多个串联即可拼出任意终端payload,仅需推理算力。
- 攻击只需checkpoint写权限,自研与开源模型均受影响;防御应把权重当代码审计,做版本diff、签名与供应链溯源。
- 对工程实践的启示:不能仅靠eval通过作为验收,需建立权重指纹比对,并严格按最小化原则切分agent工具权限。