Agent测评如何提高成功率与速度
Agent 测评要先定义清成功标准、保证环境干净并多次运行，提速靠并行与超时，提成功率靠分类分析 badcases 和过程轨迹。
要点
- 先把“成功”定义清楚，判分写成明确规则并尽量自动判，先抽几条人工核对判分器本身是否正确。
- Agent 有随机性，同一题至少跑几次，区分稳定成功与偶尔成功；每次运行都从干净环境开始。
- 先挑 5 到 10 条有代表性的任务小规模跑通，再全量跑；提速靠并行、设超时与最大步数、失败案例单独重跑。
- 提高成功率关键是看 badcases 并分类（理解错、工具调用错、环境问题、判分错），再针对性修改，不要急着调 prompt。
- 除公开 benchmark 外，可用人工抽样评审、回放完整轨迹看步数与工具调用、LLM 当裁判、回归测试、单变量对照实验和线上真实数据。
- 每次运行保存模型版本、prompt、输入与完整过程日志；badcases 慢慢攒成自己的评测集。