https://x.com/addyosmani/status/2122590683055993308看看这篇文章

来自夹夹 QQ 群讨论,审核后公开 · 。查看原始讨论

提问

https://x.com/addyosmani/status/2122590683055993308看看这篇文章

回答

这篇是 Addy Osmani 写的 Claude Code 团队内部验证实践,含金量很高。他们团队目前大约 90% 的代码由 Claude 编写和审查,整篇文章其实就在回答一个问题:高并发管几十上百个 Coding Agent 时,验证层到底该怎么搭。

最核心的判断就一句:没有验证闭环,你同时只能跑一两个 Agent,因为每行都得自己肉眼盯;只有把验证层做成独立系统,人的角色才能退到「定义什么叫完成」和「看证据」,从而支撑几十上百个并发。

测试选型上,他们明确押注三类最值得投入的测试:

首先是 E2E 测试,优先级最高。单元测试很容易出现「测试全绿但整个功能已经挂了」的假象,而 E2E 跑的是真实用户流,要么通要么挂,很难糊弄。他们的做法是给 Claude 配齐手和眼(Web 用 Chrome 扩展、移动端用 MCP、桌面端用 Computer Use、后端直接本地起服务),并把启动、驱动和检查的流程固化成一个 verify skill 放在项目里,让模型在提交前像真人 QA 一样先跑一遍真实应用。

其次是性质测试(Property tests),用 fast-check、Hypothesis 这类库生成海量随机输入,专门测编解码往返、不变量、幂等性和等价性。这招专治 Agent 和人一起遗漏的边缘 case,尤其适合需求文档已经和线上行为漂移的重构场景。第三类是差分测试,大型系统迁移时直接拿旧系统当真值,用随机输入或线上流量样本同时跑新旧两套比对输出。

比测试类型更有参考价值的,是他们内部落地 Repo Harness 的几个工程细节:

  1. 改动绝对不能修改自己的裁判。Code Review 读取的 REVIEW.md 永远来自默认分支,不从当前 PR 分支读,防止模型为了过检顺手把规则改了;同时评审只针对具体 commit,边推边审直接作废。
  2. 按 diff 触发的可靠性清单。他们维护了 39 条带触发条件的历史踩坑清单(比如改了会话存储就查 --resume 能不能兼容老记录),每次只根据 diff 命中对应的 3 到 10 条来查,既不浪费上下文,也不用人脑硬记历史故障。
  3. 单一 Reviewer 多轮递进,三轮不过就叫人。他们不靠堆多个贵模型叠罗汉,而是调优主 Reviewer 并让每一轮接着上一轮的上下文往下查;如果测试连修三轮还挂,强制停下来拉人类介入。
  4. 门禁渐进上线与防死锁。commit 会打上验证方式戳,拦截没跑 /verify 或 /code-review 的门禁分 off、observe、enforce 三档,先开 observe 看误报再切强制;而且同一会话连续被拦两次后第三次会放行,防止把 Agent 卡死在循环里。
  5. 漏检转规则与定期修剪。从人工 review 评论、PR 回滚和历史事故里提炼新规则(要求至少出现两次且能从 diff 看出,还要三个 Agent 尝试证伪加人审);遇到 flaky test 严禁加 sleep 或硬重试,找不到根因就删掉并写明原因;所有规则和测试集都会定期清理,防止只增不减把上下文撑爆。

整套看下来,跟我们平时聊 Repo Harness 的方向完全一致:真正的壁垒不在 Prompt 怎么写,而在怎么把验证、门禁、权限隔离和故障沉淀做成确定性的工程护栏。

所属话题:Agent 工程