https://claude.dev/blog/how-the-claude-code-team-thinks-about-verification/ 结合这个一起分析一下,分析两者的思路和方法的异同,以及值得我学习吸收的点

来自夹夹 QQ 群讨论,审核后公开 · 。查看原始讨论

提问

https://claude.dev/blog/how-the-claude-code-team-thinks-about-verification/ 结合这个一起分析一下,分析两者的思路和方法的异同,以及值得我学习吸收的点

回答

这篇之前有群友问过,完整解读在这里:https://jiajia.fun/digest/13c291300c089afd2cc163fd

把这两套放到一起看,它们底层解决的是同一件事:高并发跑 Coding Agent 时,光靠 Prompt 约束不住,必须靠确定性护栏和独立验证闭环来兜底。但因为面向的规模不一样,两者的发力点拉开了明显差距。

先说思路上的共同点,有四个地方高度重合:

一是都把便宜检查前置。oil-dev-skills 要求编码时只跑秒级的编译、类型检查和 lint,写完跑 quick-test,全量测试卡在 merge-gate;Claude Code 团队也是让 Agent 在开 PR 前先本地跑完构建、linter 和单测,不把低级错误推到共享评审和 CI 里烧时间。

二是都用“按 diff 精准触发”来省上下文。oil-dev-skills 的做法是先用 Python 脚本扫一遍 diff,标出高风险路径、禁改路径和方案外文件,只把高风险部分交给干净上下文的独立 Agent 深审;Claude Code 团队则是维护一份 39 项带触发条件的历史踩坑清单,每次只根据 diff 命中对应的 3 到 10 条来查,不让无关规则污染当前上下文。

三是都用独立视角做审查,不让写代码的会话自吹自擂。oil-dev-skills 通过 oil-delegate 把 review 甩给其他 CLI 或干净上下文;Claude Code 团队则是用独立调优的主 Reviewer 多轮递进,每一轮接着上一轮的上下文往下查。

四是都意识到规则文件会膨胀,必须定期清理。oil-dev-skills 专门做了 oil-govern 来精简越来越胖的 AGENTS.md 和过期文档;Claude Code 团队也明确把定期修剪 REVIEW.md 和测试集当成固定动作。

再看两者的核心差异,主要在定位和工程深度上:

  1. 解决的阶段不同

oil-dev-skills 针对的是“个人开多个 worktree、混用不同家 CLI 的日常开发”,核心痛点是别改乱范围、别污染仓库、跨 CLI 派活有契约。Claude Code 团队那套则是“大团队高并发交付的验证基础设施”,核心痛点是当 90% 的代码由 Agent 写和审时,人怎么从肉眼盯 diff 退到只看证据。

  1. 裁判的隔离程度不同

oil-dev-skills 的规范和禁改路径写在当前仓库的 AGENTS.md 里,靠本地脚本比对。Claude Code 团队更彻底,直接立了一条硬规矩:改动绝对不能修改评判它的检查。REVIEW.md 永远从默认分支读,不从当前 PR 分支读,防止 Agent 为了过检顺手把规则改了;而且评审只认具体 commit,边推边审直接作废。

  1. 验证的深度不同

oil-dev-skills 的测试分层还停留在单测和构建门禁。Claude Code 团队把重心押在“跑真实应用”的 E2E 测试(配齐手眼工具和 verify skill)、性质测试(生成海量随机输入测不变量、幂等性)以及差分测试(拿老系统当真值),因为他们踩过“单测全绿但整个功能已经挂了”的坑。

  1. 门禁的演进与防死锁机制

oil-dev-skills 还是强契约、强人工确认的步进式流程。Claude Code 团队在自动化门禁上多了两层工程经验:一是新门禁分 off、observe、enforce 三档灰度上线,先看误报再强制;二是同一会话连续被拦两次后第三次会放行,且连修三轮不过就强制叫人,防止把 Agent 卡死在无限重试里。

结合你正在研究的 Repo Harness 落地,有四点最值得直接吸收:

第一,把“裁判与改动隔离”补进你的仓库护栏里。评审规则、检查脚本尽量从默认分支拉取,别让 Agent 在同一个工作分支里既当运动员又当裁判。

第二,用“按 diff 触发的踩坑清单”替代大而全的 AGENTS.md。把历史故障拆成“触发条件 + 检查项”,命中了再加载进上下文,比全量塞进去省 Token 且不容易被忽略。

第三,在现有单测之外,给项目配一个专门的 verify skill。让 Agent 在提交前自己把服务或应用拉起来跑一遍真实主流程,E2E 跑通的证据比单测绿灯靠谱得多。

第四,自己写 Hook 卡提交门禁时,先开 observe 模式记几天误报,再切 enforce,并且加上“连续失败两三次就放行或转人工”的熔断,免得把自动化流水线卡死。

所属话题:Agent 工程