https://claude.dev/blog/how-the-claude-code-team-thinks-about-verification/随便看看potato的pstack,分析两者的思路和方法的异同,给我们什么启示

来自夹夹 QQ 群讨论,审核后公开 · 。查看原始讨论

提问

https://claude.dev/blog/how-the-claude-code-team-thinks-about-verification/随便看看potato的pstack,分析两者的思路和方法的异同,给我们什么启示

回答

两篇我都读了。这俩表面在讲同一件事——让 agent 自己证明改对了——但底层是两套不同的哲学,差异比我预想的要大。

Claude Code 团队那篇(Addy Osmani,11 月 16 号发的)前提很硬:他们团队近 90% 的代码由 Claude 写和审。在这个规模下,人不可能读每个 diff,于是验证层变成了组织的基础设施——它的作用不是"提高质量",而是"决定你能并行开几个 agent"。没验证闭环,人力上限是一两个;有了,几十上百。

pstack 是 poteto 的个人插件,但他也是拿它在一个每天几百个 PR 的 codebase 上当 gardener 的。他的开篇那句话几乎是对着"AI 写得太多烂代码"的焦虑说的:不追求 LOC,反着来,写得更少但更对。

几个关键异同:

一、都认为"跑真应用"高于"跑测试",但落到工具上是两个方向。
Claude Code 团队写 verify skill,塞在 .claude/skills/ 里,按平台选驱动力:web 用 Chrome 扩展,移动用 iOS/Android MCP,桌面用 computer use。pstack 更狠,直接要求把交互脚本化成一个小 CLI(doctor / snapshot / screenshot / trace / wait-settle / feature-flag 这种子命令),理由是"给 agent 工具而不是给 markdown"——跑一条 CLI 命令,比让模型每次现写个临时脚本点按钮省 token 也可复现。他甚至说不ironically地建议:如果你的技术栈难以调试,就为 agent 可验证性换个技术栈。

这是第一处分歧:Anthropic 的做法是"复用已有生态工具",pstack 的做法是"为本项目造一把专用扳手"。后者工程更重,但可复现性和 token 效率是数量级差别,而且这把扳手本身是 reviewer 能重跑的产物。

二、记忆的落点不一样。
Claude Code 那边叫 feature map 只出现在测试类型的说明里,真正的知识沉淀是 REVIEW.md、CLAUDE.md 和那张 39 项的 reliability checklist——按 diff 触发,通常只匹配到 3 到 10 条,靠 trigger 而不是靠全量喂。pstack 把 feature map 抬成了核心概念,还给它起了个名字叫"物化记忆"(materialized memory):代码是团队决策的投影,feature map 是它的紧凑版,塞进 skill 里所有人共享,还得每天跑 /maintain-verification-skill 修漂移。

这里有个共同判断值得记:两边都不约而同把"文档"重新定义成了索引和触发条件,而不是叙事。Anthropic 用 trigger 精准唤起 3 到 10 条检查项,pstack 用文件结构让模型按需翻。这跟我们一直说的"能写成一个清晰 Markdown 就别上 RAG"是一路的。

三、最本质的分歧:评判者与被评判者的隔离,Anthropic 做了制度设计,pstack 只做了人员分工。
Anthropic 那条我认为是全文最有价值的一句话——改动如果能修改评判它的检查,这个检查就是废的。所以 Code Review 只读 base 分支的 REVIEW.md,绝不读 PR 里的改动,门禁规则放在改动碰不到的分支上。配套还有:失败三轮就交人、提交必须带验证戳(包括"none")、门禁先跑 observe 收误报再切 enforce、同一个 session 被拦两次后放行避免卡死。

pstack 这边对应的做法是 /interrogate:多个不同模型一起试着打穿同一个 diff,加上严格的代码质量视角。这是"用视角多样性对抗模型自洽",有用,但它没解决"agent 能不能自己改掉它要过的门禁"这个问题,靠的是 playbook 约束和人工把关。所以 pstack 更适合个人和小团队,Anthropic 那套是能扛住几十人、几百 PR/天的组织级护栏。

四、两边对"规则会腐化"的态度都很清醒,但清理机制不同。
Anthropic 说测试集、验证步骤和 .md 文件只会越长越多,所以要定期修剪;flaky test 不许 skip、不许加 sleep,找不到根因就删掉并写明原因。pool 那边是 /reflect,任务做完把这一次的教训写成 skill 或 lint 的改动。注意 pstack 那条原则名字叫 encode-lessons-in-structure——把规则编码成 lint、运行时检查、脚本,而不是再多写几段文本。这点和 Anthropic 的"把 miss 转成 REVIEW.md 的规则"其实是同一个结论的两种表达,只是 pstack 更偏好落到代码而不是文档。

五、并行策略正面冲突了。
Claude Code 那句"没有验证你只能跑一两个,有了能跑几十上百"是纯结果。pstack 给了具体路线且明确反对 worktree:worktree 吃磁盘、吃机器,一般顶到 10 个;正解是把 agent 丢到云上的真机里,第一次 build 完拍快照,后续启动很快,机器人留在本地当协调者,主线程上下文保持干净。这个和"常驻 agent 是状态归属问题"其实接得上——谁持有环境、谁持有证据,就决定了你能否并行。

对我们最有用的启示,我挑三条:

第一,验证层的投入回报是非线性的,但它必须被当成基础设施而不是一次性 prompt。先花时间把那条 CLI 或 verify skill 磨到极少报错,再谈并行。顺序反了,你只是更快地产生更多你读不完的 diff。

第二,门禁要能扛住"改动改自己"的诱惑。这是绝大多数自建 harness 最容易漏的地方:你的 lint 配置、你的 review 规则、你的测试,如果和业务代码在一个可以被 agent 随手改的分支上,那这套验证在压力下会静默失效。

第三,别急着叠 reviewer,先把主 reviewer 调准。Anthropic 明确说加第二个更贵的 reviewer 往往不如调优第一个;然后用回滚率、误报率、以及"只有正确描述这次 bug 才得分"的评测集去验证检查器本身,而不是只看它报了多少条。pstack 那边对应的是 eval skill,做盲测看 prompt 改动对行为的真实影响。

如果你在动手,我建议的落地顺序是:先跑 /create-verification-skill 或手写一个最小控制 CLI,把三五个核心用户流程串成可脚本化的冒烟路径;接着把 lint、类型检查、测试挂成确定性的 Hook,跑不过就不让合,并且把这些钩子放在 agent 改不到的地方;最后才开始加并行度。到那一步你会发现自己忙的不是审 diff,而是在定义"什么叫做完了"。