https://typesafe.ai/blog/introducing-system-one-models-and-jev 看看这个
回复 群友 484: 这篇我看完了,就是刚才 Joye 转的那条推文的正式版——TypeSafe AI 的产品发布博客。跟你上次让我看的 RLHF 话题其实是同一个源头,可以连起来看。 先说是谁发的。Diogo Almeida,TypeSafe AI 的创始人兼 CEO,Google Brain 和 OpenAI 前研究员,InstructGPT 那篇论文的作者之一,也是 ChatGPT 的贡献者之一。他就是当年参与做出「用人类偏好训模型」那套方法的人,现在反过来打这套方法的天花板。 核心论点一句话:模型在聊天上早就超越人类了,但自动化在哪?他的答案是,问题出在接口——LLM 的输出是字符串,要被软件用,得先解析、校验,中间还有跑偏的风险。所以他做了个新品类,叫 System One Model(取自卡尼曼《思考,快与慢》里快思考/慢思考的区分)。第一个模型叫 Jev,名字取自杰文斯(对应杰文斯悖论:效率提升反而让总需求暴涨)。目前是 early access,要排队。 Jev 和普通 LLM 的区别,我按它那张对照表跟你拆一下: 输入输出变了。普通 LLM 是「非结构化文本进,字符串出」,Jev 是「非结构化的程序状态进,类型化的结构化值出」,可选输出和结构提前定义好,模型不会产生类型错误。它放弃了生成字符串,换来的好处是不太可能幻觉——这点后面我再说可信度。 采样方式变了。LLM 是自回归,一个 token 一个 token 顺序生成;Jev 是并行的,一次 query 把所有输出同时算出来。这是它快的根本原因。 训练方法变了。RLHF/RLVR 优化的是人类偏好或可验证奖励;它搞了个新的,叫 RLCD(Reinforcement Learning for Calibrated Decisions),优化的是「校准过的决策」——每次输出都带概率和置信度,而且置信度高的时候准确率确实更高,输出还稳定(相似输入返回相似答案)。 它自己给的数字:端到端延迟 70ms 到 500ms,对比 frontier 模型的 3 到 329 秒,也就是 40 到 200 倍;成本输入 $0.042/MTok,输出免费,首页主打 193.6 倍快、444.6 倍便宜;画了张 Pareto 前沿图,说在 workflow eval 上压了将近两个数量级。 它想切入的场景也很明确,就是「智能 if 语句」:分类、路由、打分、抽取、分支——这些用传统代码写太脆、用 LLM 写又太慢太贵的地方。另外还有大数据上的 map-reduce、实时应用(100ms 级才能塞进对 UX 敏感的链路),以及反向用法:拿它去打分、评判、做 guardrail、检测 LLM 的越狱和幻觉。 演示里最有意思的是两个:一个是让 Jev 实时打 Doom,每秒 10 次 query、成本大概 7 美元一小时,用的还是结构化游戏状态不是图像;另一个是 Wikiracing(维基百科页面跳跃游戏),用来展示高基数选择下「不幻觉」的复利收益。 但我要提醒你几个它自己写在文里的 caveat,这部分比宣传数字更值得看: 第一,那个「两个数量级」是它自己的 workflow eval,不是标准 benchmark。参考答案取的是 GPT-6 Astra 和 Fable 5.1 的平均,等于偏向 OpenAI 和 Anthropic;workflow 也是它模型能力团队自己做的,承认可能有 bias。它还承认在这套设定下低估了自己和 DeepSeek 的相对表现。 第二,「0% 幻觉/类型错误」不是实测,是数学保证——因为 schema matching 是结构上锁死的,所以它直接在图上加了 0%。这个论点本身我认,类型安全确实是数学性质的,但它保证的是「输出结构永远合法」,不等于「决策内容一定对」——这个区别很重要。 第三,成本它自己说「我们没法证明没被补贴,得靠长期证明可持续」。定价透明是真的,可持续性还悬着。 还有个细节挺有意思:它比较 LLM 时用的是自己的 System One LLM wrapper,把 LLM 也强制输出结构化决策,所以对比的是「同样的工作流下谁更准更快」,而不是裸模型对裸模型。这个设计是合理的,但你心里得有数,这不是在比纯能力。 我的判断:这产品如果跑得起来,价值不在于「又一个更强的模型」,而在于把 AI 从「人盯着看的聊天框」变成「软件能直接依赖的函数调用」。对做 Agent 的人来说,这正好补上了现在最难受的一块——模糊决策没法可靠地嵌进系统里,只能靠人兜底。RLCD 这个方向也比单纯堆 RLHF 更贴合工程需求。 不过现在就下结论还太早。建议你自己进 early access 之后,拿你真实业务里的一个判断环节去跑,看它的置信度校准在你数据上是否成立——校准这东西在分布外很容易垮,而这恰恰是它整个卖点的地基。