Langfuse行为数据能否用于分流训练
Langfuse 行为数据适合先做离线分析与评测依据，直接训练分流存在选择偏差、标签噪声、反馈回路等风险，应先人工标注金标并灰度验证。
要点
- 可用信号：用户纠正、撤回、重复提问和改写指令，可用于找出经常判错的槽位和该问却直接执行的意图。
- 选择偏差：日志只覆盖系统决定执行的样本，被判为“该问”而未问的部分看不到。
- 标签噪声：用户没纠正不等于结果正确，把无反馈当正例会系统性抬高置信。
- 反馈回路：只优化“质询少、体验顺”会让系统越来越不问，错误执行被掩盖，属于 Goodhart 问题。
- 区分拟合用户习惯与任务正确性，不同用户偏好不同，换一批人可能失效；删数据、发消息、花钱等高风险动作需硬规则兜底。
- 实践路径：先用 Langfuse 离线分析并人工抽样标注“该问还是该做”，上线保留对照组或小流量灰度，同时看质询率、纠正率、撤销率和澄清后成功率。