OpenAI千条路径找root的agent编排讲了什么
来自夹夹 QQ 群讨论,审核后公开 · 。查看原始讨论
这篇 agent 编排复盘最值得抄的不是漏洞数量,而是每个阶段配机械可判的验收标准、失败早停预算、独立验证环节,以及换基座就重测 harness。
要点
- 把长链拆成侦察、分析、分诊、筛查、利用、打补丁六段,每段有自己的确定性判据:复现阶段看 KASAN 会不会崩,提权阶段看是否真拿到 root shell,不靠模型自称成功。
- 预算分配按可信度来:便宜的筛查可以铺很宽,贵的精化先把面收窄;成本大头在提权,每项约 558 美元,复现阶段每项仅几十美元。
- 失败分支比成功贵一个量级:成功每个约 360 美元,失败每个约 3922 美元,加一条“一小时没进展就放弃”的规则能省下几十万。
- 验证环节要独立于产出者:曾有一轮报告 200 个成功提权,人审发现 20 个走的是另一个 0-day,修法是换一个只负责验证的环节。
- 脚手架会过期:给 5.5 加 103 条技巧把成功率从 76.2% 提到 88.9%,到 5.6 模型自己会挑技巧,重脚手架反被轻度编排打败,写死的教学式技巧很快变成负资产。
- 测试环境自己也会是 bug 源:分析环节曾把崩溃归因到已上游修复的 QEMU 缺陷并在其上提权,所以要先把评测环境本身验证一遍。