目前有哪些给Agent做测试的开源项目与工具

来自夹夹 QQ 群讨论,审核后公开 · 。查看原始讨论

Agent测试项目分“评测框架”与“测试执行”两类,选型前应先手动跑出真实badcase集,再借助框架做回归或观测。

要点

  1. 评测框架类:promptfoo适合LLM调用层YAML断言;LangSmith、Langfuse先记录trace再从真实流量挑badcase建数据集。
  2. 企业级与官方参考:Braintrust、Arize偏数据集管理与线上监控;OpenAI evals与Anthropic样例适合概念参考。
  3. 测试执行类:Browser Use、Stagehand结合Playwright MCP让Agent跑用户流程,由模型判完成度,仅适合作探索性测试。
  4. 实操建议先手动跑几十次记录失败案例攒成badcase集,再引入工具,否则空有框架无法落地。

来源