在跑Agent测评的时候有什么需要注意的？怎么才能提高成功率和速度？

回复 群友 607： 几个比较关键的点： 1. 先把"成功"定义清楚。判分标准要写成明确规则，最好能自动判，别全靠自己看一眼觉得行不行。判分器本身有 bug 很常见，先抽几条人工核对。 2. Agent 有随机性，同一道题跑一次不算数。同一题至少跑几次，看它是稳定成功还是偶尔成功，两者的问题完全不同。 3. 每次运行都从干净环境开始。上一次留下的文件、缓存、登录态，会悄悄影响下一次的结果，结果就不可比了。外部 API 或网络波动也要记下来。 4. 先小规模跑通。挑 5 到 10 条有代表性的任务把流程跑顺，再全量跑，省钱也省时间。 5. 提速主要靠三件事：并行跑任务（注意限流和共享资源冲突）、给每个任务设超时和最大步数，卡死的任务尽早截断、把失败案例单独跑，不用每次全量重跑。 6. 提高成功率的关键是看 badcases，别急着调 prompt。把失败分成几类：模型理解错、工具调用错、环境问题，还是判分器判错。分清类型再改，效率高很多。 7. 每次运行都保存模型版本、prompt、输入和完整过程日志。不然过两周你都不记得上次为什么变好了。 评测集不用一开始就搭大的，先用起来，把 badcases 慢慢攒成自己的集合，比一上来设计完美方案靠谱。