https://jiajia.fun/qa/9211a507-%E8%AE%B2%E8%AE%B2%E8%BF%99%E4%B8%AA-langchain-com-what-is-eval-driven-development

# 讲讲这个https://www.langchain.com/blog/what-is-eval-driven-development

回复 群友 8764 这篇是 LangChain 11月9日发的，主讲 EDD（eval-driven development，评测驱动开发）。本质是把 TDD 那套流程搬到 agent 上：先写评测（eval），再改 agent，然后每次改动都拿同一套评测来比较。 先说它要解决什么问题。多数 agent 开发都是从试出来开始的：写 prompt、手动问几个问题、觉得不对就调，再试一遍。早期错误很明显，所以还有用。一旦 agent 变复杂，你就会失去判断力——改了这段 prompt，到底变好了还是变坏了，说不清。因为 agent 是非确定性的：同样的问题答案每次都不同；两种不同说法都可能算对；步骤也是它自己选，可能多调了一个工具或少调了一个，最后还是答对了。这些特性让单测不适用，但 eval 可以：给一组例子，对每次运行打分，任何方面都能评，也可以让另一个模型来评。 作者把流程压成三步： 第一步，先定义什么叫“好”。先选一个行为，写一份简短规格说明，包括四件事：什么时候该触发、该做什么、不该做什么、还有哪些现有行为不能坏。要求是能明确判成 pass 或 fail。文章的例子是一个内部文档 agent，原本有 search\_docs 和 web\_search 两个工具，现在要加 create\_ticket 来报修。规格就是：用户说“笔记本连不上 VPN”这种坏消息要开单；问“VPN 怎么连”这种 how-to 不能开单；原有的两个搜索行为不能坏。 第二步，先写 eval，再写实现。数据集最好来自真实运行轨迹，因为用户提问方式你永远猜不到，边界情况也比你造的更真实。判分方式二选一：确定性检查用代码判分，比如“有没有调用预期的那个工具”；非确定性内容用 LLM 当裁判。然后先跑 baseline，把当前分数记下来当基准——这时开单的例子肯定是 fail 的，因为工具还没做，但它记录了现状，方便后面看有没有把别的行为搞坏。 第三步，改完再跑同一个 eval，做实验对比。这块是重点：不能只看平均分。文章里的例子就是加了工具之后平均分涨了，但“VPN 怎么连”这类 how-to 问题开始被错误开单——因为工具描述里写了“VPN 和笔记本问题”这种太宽的字眼，把所有提到 VPN 的话都匹配上了。平均分掩盖了回归。定位方法是看 trace，一次运行的完整记录，包括每次模型调用和工具调用；打开那条失败的 trace 就能看到，是工具描述写宽了，于是把描述收窄成“需要 IT 出手的请求”，再跑一次，全部通过。 后面还有几个我觉得更有价值的点： 一是 100% 不等于成功。你对着那几条例子反复调，调到全过，很可能已经过拟合到数据集上了，换个说法就废。所以要留一份 held-out 集，迭代时别看，如果调优集涨而 held-out 不动，就是过拟合信号。这点和“benchmark 就是拿来被优化的”一个道理。 二是复杂 agent 的 eval 不能只看最终回答。文章说，在沙箱里改代码的 coding agent，光看几个工具调用和最后一段话根本不够，要看它在系统里留下了什么状态，而且每次运行都得是干净环境，不然上一次的改动会污染下一次。他们用 Harbor 跑这类任务——就是 Terminal-Bench 背后的 harness，每个任务独立沙箱加一个判终态的脚本。他们自己做 LangSmith 群友 1261 和 Deep Agents 的 benchmark 也是这么干的，好处是能回答“能不能把 todo 中间件或者 system prompt 的某一段砍掉而不变差”，这是砍 harness 复杂度的正经方法。 三是上线之后才是主战场。eval 进 CI，快检查挡坏合并、慢的 LLM 裁判跑 nightly；生产上用在线评估抽样打分、人工标注队列（顺便校验 LLM 裁判和人对不对得上）、dashboard 看趋势、把 trace 聚类找新模式，最后由 群友 1261 把问题簇自动变成数据集样本。等于失败回流成测试用例，这个闭环才是 EDD 真正滚起来的地方。 它自己列的坑也很实在：成功标准定太松，比如“回答有帮助”就没法判；修完再补 eval，写出来的必然是通过的；只看平均分；堆一堆用不上的 eval，因为每个 eval 都在把 agent 往某个方向推；直接信任没对齐过的 LLM 裁判，要问窄问题、用 pass/fail 而不是 1 到 10 分。 我的看法：这篇的框架是标准的、值得照做，但它默认你已经有 tracer 和数据集平台（LangSmith），所以读的时候把工具名字滤镜掉，剩下的是几个通用原则——规格先写、baseline 先跑、逐条看回归、留 held-out、失败回流成用例。这几条在不用 LangSmith 的栈上也成立。 唯一要提醒的是，它这套东西对你的场景有个前置条件：你得先有真实运行数据。刚起手的项目没积累，硬搭一个数据集反而是在造空中楼阁。顺序上，先把东西跑起来、把 badcase 记下来，等同类失败出现三四次再整理进数据集，比一上来先精雕数据集划算。
