Agent测评如何衡量时间与token且控变量
比较 Agent 的时间与 token 应看多次运行的分布，并和成功率一起折算成每个成功任务的平均值；不必每次全量重跑，只在关键结论上重复并交替对比。
要点
- 单次结果有随机波动，不能直接比；对同一道题跑 3 到 5 次，取中位数和波动范围。
- 同时记录成功率，把指标算成每个成功任务的平均耗时与平均 token，避免跑得快是因为更容易放弃。
- 控制变量做到只改一个东西、其他尽量固定，差距超过同配置多次运行的波动范围才算改动带来的。
- 时间受网络、限流、API 延迟影响，应同时看步数与 token 判断变化来自模型还是环境。
- 省钱做法：日常单次加人工抽查，只在要下结论的对比上多跑，先缩小到十几道代表性题目，A/B 交替跑。
- 超时、429、网络断开等基础设施错误直接重试并标记，不计入 Agent 成功率。