整理一下现有得决策模型各有什么优劣点，还有arize ai发的那篇评测

kami 先说清是哪种“决策模型”：这里指的是 2026 年 9 月新出现的一类模型。它接收一个问题和一组固定选项，返回每个选项的概率，不生成文本，所以没有输出 token。它主要干两件事：在 agent 内部做单点决策（选哪个工具、选哪个 skill、停还是继续），以及当 judge 给 trace 打分。Jev 在 9 月 15 日由 TypeSafe 发布，几周内 OpenAI、Liquid、Cloudflare、AWS、PostHog 都推出了类似的东西，Hugging Face 上还冒出一个开源克隆 Kev。Arize 10 月 7 日那篇把 8 个模型做成淘汰赛，我按这篇原文给你梳理。 八个选手和各自的特点 Jev 1.13（TypeSafe）：这一品类的开创者，托管 API，32k 上下文，闭源，$0.042/百万输入 token，输出免费。 Liquid d1（Liquid AI）：第一个在 Hugging Face Decision Index 上把 Jev 挤下去的，58.9 比 57.9，闭源，$0.04/百万。 OpenAI Decisions（gpt-6-luna）：第一个入场的前沿实验室，还在公测，$0.10/百万。它的 API 形态跟别人不一样，采用一段纯文本加一组问题，不采用命名字段，所以 Arize 得手动把 case 展平成文本，这个结果是按那个排版来的，换排版可能分数会变，这算它的一个不确定项。 Clef 27B（Cloudflare）：开放权重，Apache 2.0，兼容 Jev 的 API，还能读图，跑在 Workers AI 上，$0.24/百万。Arize 自己说它是被淘汰过早的那个。 Kev 9B（Jared Palmer）：开源克隆，三个尺寸的首轮训练只花了约 95 美元的租卡钱，本地跑，自托管免费。 Jeeves 9B（PostHog）：先推理再决策的类型，结果推理没换来准确率，反而慢得离谱。 Strands Decider 2B（AWS）：最小的一个，2B，训练配方公开。 Laya multilingual（Convai Innovations）：甚至不是 LLM，322M 的 BERT 式编码器，8k 上下文，Apache 2.0。最快，0.04 秒，但准确率垫底，而且答案会跟着选项标签走而不跟着问题走，模型卡自己都警告了。 三轮比赛 八强打幻觉检测，RAGTruth 2675 行，平衡准确率，用的是调过阈值的 held-out 那半。Jev 85.5%、Clef 85.2%、Liquid 84.8%、OpenAI 81.5%、Jeeves 80.3%、Kev 76.8%、Strands 69.0%、Laya 59.8%。但八强淘汰主要看延迟和成本，不看准确率，因为准确率区间一堆重叠。所以 OpenAI 以 81.5% 对 85.5% 被判 accuracy 平（置信区间差 0.1 点），然后 0.16 秒对 0.08 秒、$0.090 对 $0.045 被判出局，属于规则淘汰，不是能力碾压。Clef 也是同样的遭遇：准确率跟 Liquid 完全打平，被延迟和价格送走。 半决赛打 Phoenix 全部 13 个 evaluator 套件，655 个标注 case。云端组 Jev 91.1% 对 Liquid 87.6%，准确率仍算平，Jev 快、Liquid 便宜，一个各赢一项，最后比校准，Jev 0.023 对 Liquid 0.051，面板判平，但倾向 Jev，因为 Jev 在 14% 说“至少 99% 确定”的 case 上全对。本地组 Kev 88.7% 对 Jeeves 87.1%，成本都是零，Kev 0.19 秒对 Jeeves 4.3 秒，二十多倍，Jeeves 的思考一点没换来准确率，Kev 进决赛。 决赛是 agent 工具路由，52 个 case，Jev 49/52，Kev 48/52，一个题就值两个百分点，全在噪声里，判平。所以结论是：要调 API 就用 Jev，要自托管就用 Kev，分数分不出来，由你的部署偏好决定。 真正有价值的部分在结尾 Arize 在正赛之外试了把幻觉检测的问题反过来问：“每个 claim 都被支持吗”换成“有没有不被支持的 claim”，同一个意思，极性相反。结果 Kev 从 ROC AUC 0.85 掉到 0.54，基本等于抛硬币；Liquid 从 0.92 掉到 0.17；Jeeves 0.85 到 0.25；Strands 0.75 到 0.26；Laya 0.64 到 0.36。只有 Jev（0.93/0.93）、Clef（0.92/0.91）、OpenAI（0.90/0.89）扛住了。这意味着你换 judge 的时候，如果改写了自己 eval 的问题措辞，可能整条流水线的判断被悄悄反转，而你完全看不出来。换模型的成本很低，但风险藏在这里。 另一个角度是 Elizabeth Hutton 那篇，Arize 用了 次判断测 Jev 的概率。Jev 每次返回每个标签的概率，答对时选中标签的中位概率是 1.00，答错时掉到 0.71；所有它标 99% 以上的 3561 次运行全部正确，低于 70% 时准确率只剩 73%。所以这个概率本身就是它自己的错误检测器，ROC AUC 0.95（原生 API 0.99）。对比 LLM judge 只能靠重复调用十次看一致性，AUC 只有 0.62 到 0.84，而且很多错误是一致地错，重复调用根本照不出来，27% 到 75% 的错例十次里一次没变。Jev 的中位延迟 133 毫秒，比这里任何一个 LLM 快 13 到 55 倍。 成本差距也拉得很开。跟 Opus 5 比，同一批基准上 Opus 5 是 86.6% 平衡准确率、每千次判断 14.30 美元，Jev、Liquid、Clef 都在噪声范围内，成本分别是它的 0.3%、0.2%、1.6%。换成一万个 evaluator 判断，Jev 六美分。 怎么选，我给你归结成三条 一，准确性现在已经商品化了，头部几个模型互差不到一点，在这上面挑没意义，按部署形态挑：要托管 API 就 Jev，要开放权重且能当 API 调就 Clef 27B，要钱花在自己卡上就 Kev。Kev 那个 95 美元训练出来的模型能跟 Jev 在路由上打平，这件事本身比排行更值得注意。 二，一定要测提问措辞。拿同一个 case 正反两种问法各跑一遍，AUC 掉到 0.5 附近的直接别用。这一步成本极低，但能挡住整条 eval 被反转。 三，用概率当信任分级。高置信度的放过，低置信度的送人工，这比重复跑 LLM 便宜得多，也更适合生产环境。还有一点，如果你的评测需要多步推理，或者需要 judge 解释它为什么这么判，那 Jev 这类决策模型给不了，那是前沿 LLM 的溢价所在。 想自己复现，官方给的路径是标 50 到 100 条自己的流量数据，把现在的 judge 和 Jev 各跑三到五次，比准确率和翻转率，再决定换不换。