从这个demo到生产Agent工作流之间还需要补充什么

回复 群友 1434: Demo 能跑通只说明“正常路径”能走。上生产主要还要补下面几块。 1. 可观测性:每次决策的输入、Jev 返回的类型和置信度、选了哪条分支、耗时和调用成本都要落日志。否则出了问题没法复盘,也看不出置信度分布是不是漂移了。 2. 评测与回归:先用真实流量收集 badcases,攒出自己的标注集,再把它做成每次改 prompt、改阈值、换模型都要跑的回归套件。不要一开始就搭大而全的评测集。 3. 失败与降级:Jev 超时、返回格式错、接口挂掉时,要有明确的兜底,比如回退到规则或直接转人工。不能让一个决策节点的故障拖垮整条链路。 4. 状态与幂等:中间结果持久化,任务中断后能从断点续跑。发布、退款、付款这类有副作用的动作必须带幂等键,否则重试会重复执行。 5. 权限与护栏:工具权限最小化,设置循环次数和单任务预算上限,防止 agent 空转烧钱。高风险动作保留人工审批。 6. 安全:外部内容(网页、用户输入、工单正文)进入决策前要当作不可信数据处理,防 prompt 注入。 7. 上线方式:阈值用自己的样本分桶校准,先影子模式跑(只记录不执行),再灰度放量,并保留一键回滚开关。 8. 人工审核回流:审核员的改判要回流成新样本,否则系统不会越用越准。 核心差别在于:demo 关心“能不能做出来”,生产关心“错了怎么办、贵了怎么办、重跑会不会出事、怎么知道它在变差”。