除了找benchmark，还有什么好的方法进行测评？

回复 群友 607： 除了跑公开 benchmark，常用的还有这几类： 1. 人工抽样评审。随机抽一批输出，让人按事先写好的标准打分，最好两个人分别打，再对比分歧。这是最可靠的基准，其他方法的结果都要拿它来校准。 2. 回放过程，不只看结果。Agent 的失败经常出在中间步骤，比如绕了十几步才答对、工具调用了多余的次数、某步拿错了数据。把每次运行的完整轨迹存下来，看步数、工具调用和 token 成本，能发现只看最终答案时看不见的问题。 3. LLM 当裁判。让另一个模型按标准给输出打分，省人力，适合大批量。但要先拿一小批人工标注的结果去对齐它的打分，否则它可能偏爱更长的回答或自己家的风格。 4. 回归测试。把之前踩过的坑、badcases 固定成一组用例，每次改 prompt、换模型或改工具后都跑一遍，防止修好 A 坏了 B。这也是 badcases 积累起来最直接的用途。 5. 对照实验。同一批任务，只改一个变量（换模型、换 prompt、去掉某个工具），比较成功率、成本和速度。一次只改一个，结论才可信。 6. 线上真实数据。如果产品已经上线，看真实用户的完成率、中途放弃率、人工接管率、重试率。这些数据比任何离线评测都更接近真实使用情况。 实际做的时候，一般是回归测试加人工抽样兜底，badcases 越攒越多，再决定要不要加 LLM 裁判或者补 benchmark。