LangChain的评测驱动开发讲了什么

来自夹夹 QQ 群讨论,审核后公开 · 。查看原始讨论

EDD 把 TDD 流程搬到 agent 上:先写可判 pass/fail 的规格与评测,跑 baseline,改完再跑同一套评测并逐条看回归,留 holdout 防过拟合,上线后把失败回流成用例。

要点

  1. 先定义什么叫好:选定一个行为,写清何时触发、该做什么、不该做什么、哪些现有行为不能坏,且能明确判成通过或失败。
  2. 再写评测后写实现,数据集优先取自真实运行轨迹;确定性内容用代码判分,非确定性内容用 LLM 当裁判,先跑 baseline 记录现状。
  3. 不能只看平均分:改完要逐条看回归,借 trace 定位,例子里加工具后平均分上涨但 how-to 问题被错误开单。
  4. 对调优集反复调到全过容易过拟合,需留一份 held-out 集,调优集涨而它不动即为过拟合信号。
  5. 复杂 agent 不能只看最终回答,要看它在环境中留下的状态,每次运行用干净沙箱,如 Harbor 这类每个任务独立沙箱加终态判定。
  6. 上线后做在线评估抽样、人工标注队列与 trace 聚类,把问题簇自动变成数据集样本,形成失败回流闭环;前提是已有真实运行数据。

来源