我还想问学习agent主要学什么，打磨agent产品主要是打磨哪些方面，测评之类的怎么做。

回复 群友 4457： 拿你想做的“技术调研 Agent”举例：用户问“这两个方案哪个适合我”，它搜了十篇文章，写出一份流畅的报告，但引用过时、没考虑用户约束。看起来跑通了，实际上任务没完成。 学习、打磨和评测，可以围绕同一个问题展开：怎么让它稳定交付真正有用的结果。 一、学习 Agent，主要学什么 第一，任务怎么定义。 先写清楚输入、交付物和成功条件。比如“比较两个方案”太模糊，“针对个人 TS 项目，比较部署成本、维护难度，给出有出处的建议”才容易执行和验收。 也要判断哪些步骤用普通代码，哪些需要模型决策。抓取、去重、保存通常用代码；发现证据缺口、决定补查什么，可以交给模型。不是越自主越高级。 第二，模型怎么行动。 理解一个完整循环：接收任务→选择工具→读取结果→决定继续还是结束。 重点不是背框架 API，而是处理具体问题：工具参数错误怎么办？搜索连续没收获怎么办？什么情况下追问用户？什么时候应该停止，承认证据不足？ 第三，上下文怎么组织。 不是把所有网页都塞进去，而是让模型拿到当前决策需要的信息：用户约束、已确认事实、来源、尚未解决的问题。 例如压缩长文章时，留下结论却丢掉“仅适用于企业版”，后面的判断就可能全错。你要学会检查信息是在检索、提取还是压缩时丢失的。 第四，工程与权限边界。 超时重试、状态保存、中断恢复、取消任务、成本上限，以及网页内容不能变成操作指令。 这些不是 Agent 外围的杂活，而是它能否可靠运行的一部分。 第五，观察和评测。 保存每次工具调用、返回结果、最终产物、耗时与费用。失败后能定位原因，而不只是说“模型不够聪明”。 学习时，每学一个概念，就用一个失败案例验证它，比单纯跟教程把功能复刻出来更扎实。 二、打磨产品，主要打磨哪里 结果：有没有解决问题，关键结论是否正确、有证据，而不只是文字漂亮。 决策：是否查对方向、识别信息缺口、及时停止。不要为了展示“自主性”多跑十轮。 稳定性：偶尔成功不够；工具失败、信息冲突、任务中断时，仍能合理处理。 交互：用户是否知道它在做什么，能否补充约束、取消任务、查看依据。不要把原始日志直接当用户体验。 效率：达到同等质量，需要多少时间和费用。更长的提示词、更多工具、更多 Agent，都应该证明收益，而不是默认加上去。 三、评测具体怎么做 你可以把评测理解成：给产品准备一套能重复考试的题，以及明确的判卷标准。 先准备约 20～30 个真实任务作为起点，不是为了得到权威分数，而是让修改有依据。覆盖正常查询、信息冲突、缺少资料、工具失败和恶意网页内容。 比如设计这样一道题： 任务：根据给定资料，判断某个虚构工具的免费版能否用于商业项目。 资料：旧博客说不可以，新版官方条款说可以，但有使用限制。 通过条件：采用新版条款；说明限制；引用真正支持结论的段落。 失败条件：只根据旧博客回答；编造条款；虽然挂了链接，但引用内容并不支持结论。 为了公平比较两个版本，先固定这批网页快照。否则今天和明天搜到的资料变了，你不知道是 Agent 改好了，还是搜索结果变好了。另留一组实时联网测试，检查真实环境表现。 判卷分三层： 能用程序查的，用程序。比如有没有超过调用预算、报告是否保存成功、是否引用了实际取得的来源。注意，链接存在不代表结论正确。 需要理解内容的，用模型辅助。比如逐条检查“结论是否被引用支持”“是否遗漏关键限制”。要求给判断依据，不要只打一个笼统的 8 分。 关键结论和争议案例，自己人工核验。先让人工和模型评同一批答案，看看模型判卷是否靠谱，再扩大使用。 每道题重复跑几次，例如三次，并保留全部结果，别只挑最好的一次。记录任务通过情况、严重错误、耗时、费用；小样本的百分比只能辅助判断。 同时比较简单基线：一次搜索直接回答、固定流程、动态 Agent。只有动态决策确实带来收益，复杂度才有意义。 四、拿评测结果怎么改 假设报告引用经常不支持结论，先看执行记录： 没找到正确资料，是搜索问题。 找到了但没读到关键段落，是提取问题。 读到了却没保留，是上下文问题。 证据已经充分却仍下错结论，是综合判断问题。 针对原因改一处，再跑同一批测试，同时检查以前能做对的任务有没有退步。留一部分题不参与日常调试，避免只是把熟悉的题“调会了”。 最终你要练的是这个闭环：定义成功→运行任务→检查证据→定位失败→修改→复测。提示词、工具、记忆、多 Agent 都只是其中可以调整的手段。 参考：Anthropic 2026 年这篇评测文章，详细讲了真实失败用例、程序／模型／人工判卷以及重复测试： https://www.anthropic.com/engineering/demystifying-evals-for-ai-agents