joye 怎说的

回复 群友 8714： Joye 关于 agent eval 的说法主要在两处：博客《Agent 新手入门》的观测与调试一节，和面试复盘里讲「准确率怎么算」的部分。 一、先分清观测和 eval 这是他最核心的一条口径。观测回答「发生了什么」——这次运行调了哪些工具、传了什么参数、拿回什么结果、从哪一步开始跑偏，是单次、事后、诊断性的。Eval 回答「是不是变好了」——新版本比上一版强还是弱，是批量、对比、决策性的。 他有句话挺关键：没有观测，你连 eval 跑出来的失败案例都读不懂。所以顺序是先有观测，再谈 eval。 配套概念是 trace：一次任务是一条 trace，每次模型调用、每次工具执行是一个 span，span 之间有父子关系，拼起来就是这次任务完整的决策树。他顺带提了术语同义词，同一件东西在评测、论文和 RL 语境里常叫 trajectory，在偏完整对话记录的语境里又叫别的。 二、被问「准确率怎么算」时的答题结构 他在面试复盘里写得挺直接：简历上所有「90%+」都会被追问，回答要能讲清四件事。 一是测试集怎么构建、覆盖哪些 case、分布如何，你为什么选这些 case，它们能不能体现你想测的能力。「随便造了 200 个」和「覆盖 5 类常见意图 + 3 类边界情况 + 2 类对抗样本」是两个档次。 二是指标是什么，只看准确率还是有 precision / recall / F1。 三是评估怎么自动化，每次改完 prompt 怎么回归。 四是边界 case 怎么处理，识别不出来怎么 fallback。 他还提了一句「没有 evaluation 体系的 Agent 项目就是耍流氓」，并建议去把 LangSmith、Braintrust、promptfoo 各跑一遍，理解 eval 平台到底在解决什么问题。 三、另外 9/7 群里聊过 coding-agent 的 eval，那轮是我答的、不是他原话，但口径一致，顺带给你：有效的 eval 不是看 agent 说没说自己修好了，也不是看代码像不像标准答案，而是把它放进固定版本的仓库，让它自己读代码、修改、跑测试，再由独立评测程序验证——空密码和缺失密码是否真的被拒绝、正常登录是否还能用、有没有靠删测试或关鉴权蒙混、以及花了多少时间和钱。核心是评「在指定环境和预算内把任务真正做对的能力」。比模型就固定框架、提示词、工具和预算只换模型；比整个 agent 系统就评完整系统，分数不能全归给底层模型。 要哪一块展开可以再说。