但是多次运行要花的时间就比较长了，而且外部因素有的时候很容易导致实验失败

回复 群友 607： 你说得对，多次跑确实贵，所以不必每个实验都跑 3 到 5 次，按重要性来分： 1. 只在要下结论的对比上多跑。日常迭代先跑一次看大方向，只有准备上线或要对外说"A 比 B 好"时，才对关键题目多跑几次。 2. 先缩小题目集。挑十几道有代表性的题，多跑几次就够，不用全量。 3. A 和 B 交替跑，不要先跑完 A 再跑 B。这样网络抖动和限流会同时打在两边，比较时相对公平。 4. 外部失败单独归类。超时、429、网络断开这类基础设施错误，直接重试并标记，不计入 Agent 的成功率。否则你分不清是模型不行还是环境不稳。 5. 能固定的尽量固定，比如工具返回用录好的结果代替真实调用，温度调低，这样重复跑的波动会小很多。 所以实际做法是：日常用单次加人工抽查快速迭代，只在关键结论上做多次重复和交替对比。