现在最前沿的模型做Judge（例如6Astra），这个思路怎么样？但是LLM as a judge会出现问题吗？我感觉跑eval好复杂

回复 群友 607： 你说的 6Astra 应该是 GPT-6 Astra，这个思路本身可行，用最强的模型当裁判，判断回答好不好、过程合不合理这类开放问题时，比写死的规则灵活。但它是一把需要先校准的尺子，不是标准答案。 主要问题有这几个： 1. 偏好偏差。裁判模型容易偏爱更长、更像自己风格的回答。如果被测模型和裁判是同一家的，分数会偏高。 2. 不稳定。同一份输出打两次分可能不一样，换个顺序放在前面还是后面，结果也可能变。 3. 贵和慢。最强模型当裁判，全量跑很烧钱。 4. 模型一升级，裁判标准就变了，去年的分数和今年的不好直接比。 5. 裁判自己也可能一本正经地判错，尤其是专业领域。 怎么缓解：先拿几十条人工标过的样本，看裁判和人的一致率，一致率低就别用。评分标准写成具体的检查项，比如"有没有答对、有没有漏掉关键步骤、有没有乱调工具"，别只让它打个几分。能用对错或三档代替一百分制就用。把两个回答的顺序对调再判一次，结果不一致的单独看。 关于跑 eval 觉得复杂，可以拿考试改卷子来想：题目是数据，考生是你的 Agent，判卷老师是判分器，成绩单是记录。你第一步不用搭大系统，挑十几道题，自己先批一遍，搞清楚"好"到底长什么样。然后再让机器按同样标准批，批得和你差不多就可以放大。前面说的 badcases 慢慢攒，就是在积累这份判卷标准。 所以顺序大概是：人工批几十条，校准标准，再让强模型做裁判批大批量，最后用攒下来的 badcases 做回归测试兜底。