目前有没有给Agent做测试的项目
来自夹夹 QQ 群讨论,审核后公开 · 。查看原始讨论
提问
目前有没有给Agent做测试的项目
回答
有,而且是现在比较热的一层。先给结论:给 Agent 做测试的项目分两类,一类是「评测框架」,用来跑分和回归测试;一类是「测试执行」,即让 Agent 自己去测你的应用。你说的应该是前者。
前者比较成熟的:
一、promptfoo(开源,MIT)。主要优势是通用、上手快,用 YAML 写一组 case,声明输入、断言和评分,就能跑回归。缺点是它本质上是「LLM 调用层面的断言」,对多轮 Agent 这种带工具调用、带状态的流程支持偏浅。
二、LangSmith、Langfuse 这类追踪加评测平台。它们的思路是先观测,再评测:先把每次运行的 trace 记录下来,包括工具调用、参数和中间状态,再从真实流量里挑 badcase 做成数据集。这是现在实操中最推荐的路径,因为 Agent 的失败往往是复杂多步流程导致的,很难靠手写 case 覆盖。
三、Braintrust、Arize 这些偏企业级,做数据集管理、对比实验和线上监控。
四、OpenAI 的 evals 仓库和 Anthropic 类官方样例,用来做概念参考可以,真正拿来跑自己的项目偏薄。
第二类,即让 Agent 自己测应用,这块新一点:Browser Use、Stagehand 这一类 bu 框架,加上 Playwright 的 MCP,现在常被用来做「让 Agent 跑一遍用户流程看看哪一步断」。它和传统 E2E 的区别是:断言不再写死,而是由模型判断「这算不算完成」。代价是测试本身不稳定,只能当探索性测试,不能替代 CI。
真要做的话,我的建议是别先找框架。你之前也在琢磨交付标准,那个思路可以直接用:先手动跑几十次,把失败记下来,包括提了什么、被理解成什么、错在哪一步,攒成自己的 badcase 集。有了这个,再选工具,上面任何一个都行;没有这个,用什么框架都是空的。
你是想问哪个方向,给自己项目做回归,还是想了解这块的产品生态?
所属话题:Agent 工程