如何从badcase长出自己团队的评测集

评测集不是数量竞赛：先写10到20道覆盖核心场景的题，再补边界case和badcase回归，成熟期才到200+

要点

  1. 起步不要一上来写200道题，先写10到20道覆盖核心场景的，下一步补边界case与badcase回归，成熟期才扩到200+
  2. badcase 收集单列一节：按检索失败、幻觉、不完整、格式错误、安全问题分类并排优先级，再写清加进评测集的流程
  3. 个人实践路径是一开始只有金题集加规则断言，之后每次线上发现 badcase 就往里加一条，改 prompt 和工具都跑一遍回归
  4. 参考材料包括知乎专栏《03 Agent评测：别等上线前才想起来跑Demo》与一篇 Agent 入门指南中 Eval 和观测调试两节

来源