Agent迭代如何判断变好并做评测
先区分硬性错误与“够不够好”：硬性错误用规则断言自动判定，质量评测靠离线金题集、LLM裁判和线上反馈，评测集随badcase持续更新。
要点
- 硬性错误（编译、单测、工具误用、权限越界、格式不符）用规则断言自动判定，比直接跑测试更明确。
- 先使用Agent收集真实badcase，攒到二三十条再整理成金题集，比照搬公开benchmark更有用。
- 离线跑金题集关注新旧版本逐题变好变差，不只看总分；LLM当裁判需写具体评分标准、换模型家族并抽检。
- 线上点赞点踩、追问、改口重问等反馈是离线测试集测不出来的信号。
- 避免总分涨了就发版导致过拟合，以及评测集写完不更新导致测的是过去的世界。