LLM测评的全流程分哪些步骤

来自夹夹 QQ 群讨论，审核后公开 · 。查看原始讨论

LLM eval 应从生产 trace 的错误分析长出指标，建分层黄金集，先跑确定性断言再用模型裁判，并以 CI 门禁、线上监控和统计显著性判断结论。

要点

  1. 起点是错误分析而非指标：抽 100 条以上真实 trace 做开放编码，聚类成类别并按频次排序，前 3 类作为第一批指标。
  2. 黄金数据集每条存输入、rubric 和元数据，按类别配额采样以防简单用例淹没稀有 case，并与 prompt 一起版本化。
  3. 合成数据先定人设、意图、复杂度、边界等维度交叉成测试点再生成，得到覆盖而非重复。
  4. 先跑 JSON schema、正则、真跑代码与 SQL 等确定性断言，LLM-as-judge 只留给代码判断不了的部分。
  5. RAG 分开评检索与生成，Agent 做轨迹评估看工具调用与参数，多轮用模拟用户评目标完成率。
  6. 统计上 100 样本 80% 准确率的置信区间约 ±8 点，涨两三个点大概率是噪声，需 bootstrap 或配对检验。

来源