如果一个agent能得到用户在产品前端的操作记录,该如何设计,让它静默识别用户的意图

可以做,但我不建议“把用户所有点击塞给 Agent,让它一直猜”。更稳的是:做一个后台意图估计器,持续更新“用户可能在做什么”,再单独决定是否需要帮助。 先举个例子。 用户在数据分析产品里,依次打开销售报表、筛选华东地区、切换上月和本月、选中几条异常记录。 此时能推断的是“用户可能在比较华东销售变化”,不能直接推断“用户要生成报告发给老板”。 所以系统应该保留多个假设:查看趋势、排查异常、准备报告。随着后续操作逐步更新,而不是一次猜中就锁死。 我会按下面这条链路设计: 前端语义事件 → 会话状态 → 候选意图 → 证据与不确定性 → 干预策略。 前端记录“业务动作”,不只是点击 click_button_23 对模型价值不大。更有用的是: 动作:修改报表筛选条件 对象:销售报表 变化:地区从全国变成华东 当前状态:按月展示销售额 结果:查询成功 尽量由产品代码直接产生这些语义事件,带上时间、页面或任务标识、对象 ID 和操作结果。别让模型再从一堆 DOM 和鼠标坐标里猜业务含义。 也要区分用户主动操作和系统自动刷新,否则很容易把自动行为当成用户意图。 维护任务上下文,而不是无限堆日志 输入可以由三部分组成: 最近一段操作序列。 当前页面和业务对象的状态。 本轮任务的简短摘要。 窗口不能只按时间切。用户从销售报表跳到账号设置,可能已经换任务;同时开两个标签页,也不能把两条操作链强行串起来。 旧意图需要衰减,切换任务时要允许重置。 把识别结果设计成“可推翻的假设” MVP 可以先定义有限的业务意图,例如查看趋势、对比数据、排查异常、导出结果,并保留“未知”和“其他”。 让模型返回结构化结果,至少包含: 候选意图。 对应的操作证据。 缺少的关键信息。 与上一次判断相比有什么变化。 是否需要等待更多信号。 比如“准备报告”缺少导出、编辑报告等证据,就不该被当成确定目标。 特别注意:模型自己报的“置信度 0.9”不等于真实有九成概率正确。阈值要通过标注数据和实际反馈校准,不能直接拿自报分数驱动自动操作。 不要每点一下就调用大模型 可以先用规则筛掉滚动、重复点击、自动刷新等低信息事件,在关键动作之后异步触发识别,比如切换业务对象、修改关键筛选、连续操作失败。 高频、固定模式用规则或小模型;含糊且确实需要理解上下文的片段,再交给大模型。 加去抖、缓存和任务版本号:模型返回时,如果用户已经切换任务,就丢弃旧结果,避免“人都走了,助手才开始帮上一个忙”。 “识别意图”和“替用户行动”分开 静默识别可以一直在后台做,但识别结果不等于执行授权。 不确定时继续观察。 证据比较充分时,可以预计算只读分析,放在侧栏等用户主动打开。 需要打断用户时,再判断帮助收益是否大于误判和打扰成本。 发送消息、删除数据、提交订单等操作,仍然需要明确授权。 比如系统猜用户在排查销售下降,可以提前准备同比、环比分析;不能因为猜他要汇报,就自动把分析发出去。 先用影子模式验证 第一版只记录预测,不展示、不执行。 找一批经过用户同意的任务会话,让用户或标注者确认目标,再评估:预测是否正确、需要观察多久、意图变化后多久能跟上、哪些场景应该输出未知。 之后才测试侧栏建议,观察接受率、误打扰率和任务完成情况。用户没点建议不一定说明猜错了,也可能只是出现时机不对。 最后,静默应该是“不打断”,不是“不告知地监控”。采集范围要透明、可关闭,密码和敏感输入应在采集侧排除;前端文本也要当作不可信数据,不能让页面里的一句话变成 Agent 的执行指令。 微软的人机交互指南也有一个适用原则:对用户目标不确定时,应缩小服务范围或澄清,而不是强行行动。这是通用设计原则,不是新的 Agent 架构: https://www.microsoft.com/en-us/research/blog/guidelines-for-human-ai-interaction-design/ 如果从零做,我会先选一个高频场景、几个明确意图,用“语义埋点+任务状态+单次结构化推理+影子评估”跑通,不急着上多 Agent。 你这个产品具体是什么类型?如果能给一段典型操作链,就能进一步拆出该采哪些事件、定义哪些意图,以及在哪里触发识别。