讲讲这个https://x.com/addyosmani/status/2122590683055993308
来自夹夹 QQ 群讨论,审核后公开 · 。查看原始讨论
提问
回答
Addy Osmani(现在在 Anthropic Claude Code 团队)今天刚发的一篇长文,讲他们团队在约 90% 代码都由 Claude 编写和审查的规模下,怎么搭验证体系。
核心判断很直接:能同时开几十上百个 Claude 并发干活,靠的不是人去逐行盯 Diff,而是强验证闭环。人的角色从「看代码」变成「定义什么是完成,然后看验证证据」。
测试投入上,他最推崇三类最难被模型糊弄的测试:
第一是 E2E,给 Agent 配真实的手和眼(Chrome 扩展、模拟器、CDP 等)去跑真实用户流。单测全绿但功能照样坏的情况太多了,E2E 要么通要么挂,还能直接截图指出哪里碎了。
第二是属性测试(Property tests,比如 fast-check、Hypothesis),定义好不变量、幂等性、往返编解码这些硬约束,让测试库生成成千上万个边界输入去撞。这招专门治「模型写代码和写测试带同一种偏见」的毛病。
第三是差分测试,大型迁移或重构时拿旧系统当基准,同一批输入跑两边看结果差异。
他们团队在 Repo Harness 里落地的几条机制也挺实在:
- 仓库里直接配 verify skill,放在离对应代码最近的地方,专门教模型怎么启动服务、跑模拟器、做冒烟测试。提交前自己先跑通,连续修三轮还挂就停下来拉人介入。
- 维护一份按 Diff 触发的可靠性清单(他们攒了 39 条,每条带触发条件和历史事故背景),每次审查只挑命中的 3 到 10 条来查,不用把所有历史教训全塞进上下文里。
- 审查规则和待审代码必须物理隔离:Code Review 永远从默认分支读 REVIEW.md,不读当前 PR 里被改过的版本,防止模型修改代码时顺手把裁判标准也改了。
- 提交门禁和验证戳:每次 commit 都会打上是怎么验证的标记(没验证就标 none),门禁先用 observe 模式观察误报,再切 enforce 拦截没跑 verify 或 review 的提交(同一会话连续拦两次会放行,防止死锁)。
- 拿历史故障反向评测审查器本身:用过去导致回滚和事故的 PR 建固定测试集,单独测初筛、复核、终审各阶段的召回率,看有没有把已经发现的 bug 给漏掉。漏掉的共性问题(至少在两个 PR 里出现过)才沉淀进 REVIEW.md,而且定期清理过期测试和规则,防止文档和测试套无限膨胀。
整篇看下来,他们本质上是把「验证层」当成一个独立系统在维护和迭代,而不是写几个 prompt 祈祷模型自觉。
所属话题:Agent 工程