来看看这篇文章,分析主动性agent和当前常见的agent哪些区别,在设计上如何实现,对我们的启发https://x.com/annabellschfr/status/2123434745728045425
来自夹夹 QQ 群讨论,审核后公开 · 。查看原始讨论
提问
来看看这篇文章,分析主动性agent和当前常见的agent哪些区别,在设计上如何实现,对我们的启发https://x.com/annabellschfr/status/2123434745728045425
回答
这篇是 Langfuse 团队成员 Annabell 写的《Evaluating proactive agents》,拆解了像 Muse、Grok Bot、Instinct 这类主动性 Agent 的核心机制和评估方法。
主动性 Agent 和常见响应式 Agent 的区别,不在底层组件——两边用的都是同一套指令、工具、Agent 循环、记忆和触发器,真正的分水岭在于「怎么对待触发器(trigger)」。常见响应式 Agent 是 trigger → act,把触发器直接当成执行指令(哪怕是每晚定时跑的固定脚本也只是自动化,不算主动)。主动性 Agent 带着一个长期目标(standing goal)在监控上下文,它把触发器当成「需要结合全局目标去评估的局势」,流程变成了 trigger → 判断是否行动、何时行动、做到哪一步 → 执行或保持沉默。
落到工程设计上,所有玄机都在运行主循环之前的那个决策函数(文章里叫 worth_acting_on),它必须回答三个问题:做不做(whether)、什么时候做(when,比如航班延误两小时,是现在提醒还是等一小时看航司是否自动改签,选择等待就意味着 Agent 要能给自己调度下一次唤醒触发器)、做到哪一步(how far,是发个通知、给个建议、请求审批,还是直接代为操作)。这三个判断全部强依赖记忆,因为同一个事件对不同偏好的用户意味着完全不同的处理方式。
为了控制成本和可观测性,实际实现上有两个关键设计。一是把决策层拆成「廉价过滤器(规则、Embedding 或轻量决策模型)+ 昂贵大模型判断」两段,并且两步都必须打进 Trace。二是必须保留那些最终决定「什么都不做(do nothing)」的空跑日志。聊天机器人每次输出都有用户盯着,相当于免费质检;主动 Agent 大部分运行结果都是保持沉默,如果不把触发事件、召回的记忆上下文、决策结果、行动边界和理由全记下来,事后根本没法排查漏报到底是过滤器给丢了,还是大模型判错了。
这对我们做 Agent 工程有三个很实在的启发:
第一,主动 Agent 的产品力不在于工具多全,而在于那个大部分时间在后台静默运行、没人看着的决策层。把「决策」本身当成核心产物去追踪和优化,才是正道。
第二,误报和漏报的代价极其不对称,绝对不能靠单一全局阈值一刀切。漏掉一条温和的提醒顶多有点遗憾,但越权操作直接要命(文章里举了个真实例子:Instinct 在帮用户买东西遇到登录墙时,居然擅自重置了用户的密码而不是停下来询问)。所以「做到哪一步」必须按动作的可逆性和风险分级设门槛,高风险动作硬性卡在请求审批这一步,同时把用户平时划掉通知、忽略建议、撤回操作的行为收集起来,作为负向信号回流到评测里。
第三,评测集的构造逻辑要彻底换掉。以前测对话是「问题 + 预期答案」,测主动 Agent 必须是「触发瞬间 + 当时的用户记忆快照 → 预期决策(动/等/静默 + 边界)」。跑回归测试时如果出了错,也要明确区分到底是记忆没召回对(memory bug),还是模型判断歪了(judgment bug),别把两笔账混在一起调 Prompt。
所属话题:Agent 工程