Agent工作流从demo到生产要补什么

Demo 只验证正常路径,上生产还需补齐可观测性、评测回归、失败降级、状态幂等、权限护栏、安全、灰度上线与人工回流。

要点

  1. 可观测性:每次决策的输入、返回类型与置信度、所选分支、耗时和调用成本都要落日志,便于复盘并观察置信度分布是否漂移。
  2. 评测与回归:先用真实流量收集 badcase 攒标注集,再做成改 prompt、改阈值、换模型都要跑的回归套件,不必一开始就搭大而全的评测集。
  3. 失败与降级:超时、返回格式错、接口挂掉时回退到规则或直接转人工,避免单个决策节点故障拖垮整条链路。
  4. 状态与幂等:中间结果持久化以支持断点续跑,发布、退款、付款等有副作用的动作必须带幂等键。
  5. 权限、安全与上线:工具权限最小化并设循环次数和预算上限,外部内容进入决策前按不可信数据处理,阈值用自有样本校准,先影子模式再灰度并保留一键回滚。
  6. 人工审核回流:审核员的改判要回流成新样本,否则系统不会越用越准。

来源