我想知道个人规模的agent大概需要多少case多少轮能拿到较为真实的eval数据

回复 群友 6434： 没有固定的数字。个人 pa 的 eval 更看重来源，而不是数量。 先别急着凑 case 数。你先用 pa 做真实任务，把它失败、别扭、答偏的地方记下来，每条记录输入、期望和实际结果。攒到二三十条 badcases 后，看看它们是不是集中在某一类问题上，这时候再回头整理成小评测集，通常就够用了。这些 case 来自你自己真实的使用场景，比你坐下来编一堆题更接近真实情况。 轮数上，同一批 case 跑 2 到 3 次，看结果波动有多大。如果每次结论都一样，说明这批数据基本可信；波动很大，就先加 case 或者收紧判分标准。之后每次改模型、改 prompt 或改工具，都拿这批 case 复测一遍，看是不是变好了。 所以顺序是：先用起来，收集 badcases，积累到一定量再沉淀成评测集，不用一上来就搭。