智能体迭代怎么判断这个东西更好了，怎么去评测。

群友 6043：先分清两件事，“哪里错了”和“够不够好”。 硬性错误可以自动判定，代码修改完编译和单测能直接判定对错，工具用错、权限越界、必须输出 JSON 却输出成散文，这些用规则做断言，比直接跑测试更明确。剩下的“还行但没到点子上”才是评测要解决的问题：判断新版比上一版好还是差。没有对比机制，你调整提示词一周也不知道方向对不对。 顺序：先把 Agent 用起来，多收集 badcase，不要一上来就搭评测集。你真实的失败案例就是最有效的测试用例，攒到二三十条再整理成金题集，比抄别人的 benchmark 有用得多。 三种做法搭配使用： 离线跑金题集：每次改提示词或者工具都重跑一遍，看新旧版本的差异，先看哪些题变好、哪些变差，总分可以先放一边。 LLM 当裁判：最容易造出假的分数。它偏向打高分、偏向长答案、偏向自己家族的模型输出。所以评分标准要写具体（要求覆盖哪几个点、缺哪个点就扣分），最好换成另一个模型家族来判，并且抽一部分人工核对。 线上反馈：点赞点踩、有没有追问、有没有改口重问，这些是离线测试集永远测不出来的。 再说两个常踩的坑：一是总分涨了就发版，实际上是在只覆盖 10 道老题的测试集上过拟合，新问题全崩；二是评测集写完就再也不更新，上线三个月后它测的是三个月前的世界。测试用例应该跟着 badcase 持续更新。