个人规模Agent做Eval需要多少case和轮数
个人Agent的eval没有固定case数，先用起来收集真实badcases，攒到二三十条整理成小评测集，同一批跑2到3次看波动即可。
要点
- 不用先凑case数量，先用Agent做真实任务，把失败、别扭、答偏的地方记下来，每条记录输入、期望和实际结果。
- 攒到二三十条badcases后，看它们是否集中在某类问题上，再整理成小评测集，来源真实比编题更接近实际情况。
- 轮数上同一批case跑2到3次看结果波动：每次结论一致说明数据可信，波动大则先加case或收紧判分标准。
- 之后每次改模型、改prompt或改工具，都拿这批case复测一遍，看是否变好。
- 顺序是用起来、收集badcases、积累到一定量再沉淀成评测集，不要一上来就搭。