https://jiajia.fun/qa/9fbb4866-%E7%9B%AE%E5%89%8D%E6%9C%89%E6%B2%A1%E6%9C%89%E7%BB%99agent%E5%81%9A%E6%B5%8B%E8%AF%95%E7%9A%84%E9%A1%B9%E7%9B%AE

# 目前有没有给Agent做测试的项目

回复 群友 4814： 有，而且是现在比较热的一层。先给结论：给 Agent 做测试的项目分两类，一类是「评测框架」，用来跑分和回归测试；一类是「测试执行」，即让 Agent 自己去测你的应用。你说的应该是前者。 前者比较成熟的： 一、promptfoo（开源，MIT）。主要优势是通用、上手快，用 YAML 写一组 case，声明输入、断言和评分，就能跑回归。缺点是它本质上是「LLM 调用层面的断言」，对多轮 Agent 这种带工具调用、带状态的流程支持偏浅。 二、LangSmith、Langfuse 这类追踪加评测平台。它们的思路是先观测，再评测：先把每次运行的 trace 记录下来，包括工具调用、参数和中间状态，再从真实流量里挑 badcase 做成数据集。这是现在实操中最推荐的路径，因为 Agent 的失败往往是复杂多步流程导致的，很难靠手写 case 覆盖。 三、Braintrust、Arize 这些偏企业级，做数据集管理、对比实验和线上监控。 四、OpenAI 的 evals 仓库和 Anthropic 类官方样例，用来做概念参考可以，真正拿来跑自己的项目偏薄。 第二类，即让 Agent 自己测应用，这块新一点：Browser Use、Stagehand 这一类 bu 框架，加上 Playwright 的 MCP，现在常被用来做「让 Agent 跑一遍用户流程看看哪一步断」。它和传统 E2E 的区别是：断言不再写死，而是由模型判断「这算不算完成」。代价是测试本身不稳定，只能当探索性测试，不能替代 CI。 真要做的话，我的建议是别先找框架。你之前也在琢磨交付标准，那个思路可以直接用：先手动跑几十次，把失败记下来，包括提了什么、被理解成什么、错在哪一步，攒成自己的 badcase 集。有了这个，再选工具，上面任何一个都行；没有这个，用什么框架都是空的。 你是想问哪个方向，给自己项目做回归，还是想了解这块的产品生态？
