https://claude.dev/blog/chaos-loop-claude-docs-launch/ 讲讲这个

来自夹夹 QQ 群讨论,审核后公开 · 。查看原始讨论

提问

https://claude.dev/blog/chaos-loop-claude-docs-launch/ 讲讲这个

回答

这篇是 Anthropic 工程师 Vivek Nair 刚发的工程复盘,讲的是他们怎么在 Claude Docs 上线前三周,靠一套叫 Chaos Loop(混沌循环)的自动化闭环,把一个单节点 POC 服务硬生生扛到了上线首周 20 亿次请求、仅 60 次服务端报错、9 月发布 629 次零回滚的水平,而且整个服务只用了大约 50 个内存优化型 pod。

整篇文章最核心的不是「AI 很强能自己修 bug」,而是他们怎么围绕 Agent 的能力边界去设计整个测试闭环和技术栈。

先看 Chaos Loop 是怎么跑起来的。
Claude Docs 上线前三周只有几千内部用户在单节点上用,根本测不出公网百万级文档的压力。作者于是在 staging 环境搭了个压测 harness,在 Claude Code 里常驻一个主协调者 session,底下平时挂 11 个左右、峰值 30 个 sub-agent 并行干活,甚至还通过 Slack MCP 去问内部其他基建团队的 Claude 机器人踩过哪些坑。
这个循环专挑最极端的场景往死里打,比如单日新建 1000 万文档、 个长连接同时重连、热点文档百人围观时强杀加载中的服务端进程外加数据库卡死。每次把 staging 打爆后,Claude 自己通过 Datadog MCP 读遥测(连每条 SQL 扫描了多少行、返回了多少行都能看到),然后给出方案。
这里面有两条很关键的工程护栏:第一是区分可逆与不可逆操作,普通优化直接改代码推 staging 复测,但像改数据库 schema、key 布局或者文档存储方式这种难回滚的动作,必须停下来等作者本人审批;第二是全程死守两条硬不变量,文档必须几乎秒开,且服务端确认过的编辑绝对不能丢。结果正式上线第一周,他们演练过的 10 个极端故障里线上真撞上了 7 个,但因为提前修好并藏在 runtime flags 后面,线上出压力直接切开关就顶过去了。

再看为什么这套闭环能跑通——作者提出了一个非常实在的概念:提高系统对 Claude 的「可读性」(Legibility)。
以前大家做遥测,往往是线上炸了才去补埋点;在这套循环里,Claude 每次看遥测缺什么数据就自己往代码里补。比如一开始有个大文档在 pod 里吃掉了 3 GB 内存,Claude 先试着调小缓存,结果下一轮压测发现内存根本不在那个缓存里,于是自己撤回改动,接着加更细粒度的内存 profiling,最后抓出是每次按键都在把文档拷贝进好几个数据结构里,改成 copy-on-write 之后单文档内存直接压到 180 MB,上线预估的 pod 数量也从 500 多个降到了 50 个。
更有意思的是他们在技术栈上的取舍:为了不让垃圾回收(GC)带来的内存和延迟抖动污染遥测信号,他们直接用 Rust 重写了服务,并且极度克制第三方库,必要的依赖直接 vendor 进代码库里。目的就是让 Claude 测出来的每一个数字都能直接归因到自己写的代码上,改一行就能在下一轮看到干净的反馈。以前选 Rust 会纠结人写起来门槛高,现在代码主要靠 Claude 写,这笔账就完全翻过来了。

最后是模型能力和成本账本。
作者坦言几个月前这套做法还跑不通,因为老模型在长循环里跑个十几二十轮就会出现目标漂移(goal drift),忘了群友 8334要守住什么不变量;这次用的是内部类似 Claude Fable 5.2 的模型,能跨越多轮上下文压缩一直死咬着目标不放。
至于开销,按 Fable 5.2 今年 11 月的 API 牌价算,从 8 月底到上线一共烧了大约 12.5 万美元的推理费。听着吓人,但作者算了两笔账:一是这里面包含了很多摸索流程时的试错浪费,熟手来做能砍半;二是这种体量的基建在几年前得拉一个工程师团队干半年。如果是普通中小团队的常规栈(几个 k8s 节点配个 Postgres),去掉那些大厂内部对齐和超大规模的折腾,跑两周大概也就 3000 到 美元。

总结下来,这篇给做 Agent 工程的启发很直接:与其天天琢磨怎么写花哨的 Prompt,不如把环境反馈信号做干净,让 Agent 看得懂自己改了什么、哪里坏了,再把高危审批卡死,剩下的交给长程循环去撞就行了。

所属话题:Agent 工程