https://jiajia.fun/a/989b6b08-4094-4b6d-86f5-1b76ea4b677f-llm%E6%B5%8B%E8%AF%84%E7%9A%84%E5%85%A8%E6%B5%81%E7%A8%8B%E5%88%86%E5%93%AA%E4%BA%9B%E6%AD%A5%E9%AA%A4

# LLM测评的全流程分哪些步骤

LLM eval 应从生产 trace 的错误分析长出指标，建分层黄金集，先跑确定性断言再用模型裁判，并以 CI 门禁、线上监控和统计显著性判断结论。

## 要点

1. 起点是错误分析而非指标：抽 100 条以上真实 trace 做开放编码，聚类成类别并按频次排序，前 3 类作为第一批指标。
2. 黄金数据集每条存输入、rubric 和元数据，按类别配额采样以防简单用例淹没稀有 case，并与 prompt 一起版本化。
3. 合成数据先定人设、意图、复杂度、边界等维度交叉成测试点再生成，得到覆盖而非重复。
4. 先跑 JSON schema、正则、真跑代码与 SQL 等确定性断言，LLM-as-judge 只留给代码判断不了的部分。
5. RAG 分开评检索与生成，Agent 做轨迹评估看工具调用与参数，多轮用模拟用户评目标完成率。
6. 统计上 100 样本 80% 准确率的置信区间约 ±8 点，涨两三个点大概率是噪声，需 bootstrap 或配对检验。

## 来源

- [原始讨论 1](https://jiajia.fun/qa/14c90fa08ac6cf372e74b014)