https://jiajia.fun/a/66eb8f78-b170-43af-a3d7-02861388be24-langchain%E7%9A%84%E8%AF%84%E6%B5%8B%E9%A9%B1%E5%8A%A8%E5%BC%80%E5%8F%91%E8%AE%B2%E4%BA%86%E4%BB%80%E4%B9%88

# LangChain的评测驱动开发讲了什么

EDD 把 TDD 流程搬到 agent 上：先写可判 pass/fail 的规格与评测，跑 baseline，改完再跑同一套评测并逐条看回归，留 holdout 防过拟合，上线后把失败回流成用例。

## 要点

1. 先定义什么叫好：选定一个行为，写清何时触发、该做什么、不该做什么、哪些现有行为不能坏，且能明确判成通过或失败。
2. 再写评测后写实现，数据集优先取自真实运行轨迹；确定性内容用代码判分，非确定性内容用 LLM 当裁判，先跑 baseline 记录现状。
3. 不能只看平均分：改完要逐条看回归，借 trace 定位，例子里加工具后平均分上涨但 how-to 问题被错误开单。
4. 对调优集反复调到全过容易过拟合，需留一份 held-out 集，调优集涨而它不动即为过拟合信号。
5. 复杂 agent 不能只看最终回答，要看它在环境中留下的状态，每次运行用干净沙箱，如 Harbor 这类每个任务独立沙箱加终态判定。
6. 上线后做在线评估抽样、人工标注队列与 trace 聚类，把问题簇自动变成数据集样本，形成失败回流闭环；前提是已有真实运行数据。

## 来源

- [原始讨论 1](https://jiajia.fun/qa/9211a507689272c221300620)
