是不是一个屌爆了的分类器
回复 joye: 基本同意,但「分类器」这个词前面得加两个限定词,加完才是它准确的样子。 是分类器的部分很好认:输出空间预先定义好、有限、结构化,输入是一坨程序状态,出来的是带概率的分布——这就是分类器,严格说是结构化预测。官方那个例子,客服工单返回 {"billing": 0.08 "technical": 0.85 "sales": 0.07},就是标准的三分类,只不过概率是校准过的,不是 softmax 出来拍脑袋的。它宣称能干的分类、路由、打分、抽取、分支,本质全是把判断变成一个函数调用。 比传统分类器多出来的东西有三块。 第一,输入不用做特征工程。传统分类器喂的是特征向量,你得先把文本抽成词袋、TF-IDF 或者 embedding;Jev 直接吃非结构化的程序状态——一段文本、一个 JSON、一行日志都行,理解和判别交给模型。所以它真正替代的是那种「以前只能用 prompt 硬写、或者写一坨规则硬怼」的判断层。 第二,校准才是核心卖点,不是准确率。普通 LLM 说 0.9 基本不可信,同一句话换个问法能给你抖到 0.6;它宣称置信度高的时候准确率确实高,这样一来输出就能直接进系统:大于 0.9 自动放行,0.5 到 0.9 转人工,低于 0.5 直接拒。还能做级联——便宜的先过一遍,不确定的再上大模型。一个分类器如果只是猜得准、但不知道自己什么时候不准,工程上根本没法接;它补的正好是这一环。 第三,并行采样加 schema 锁死,所以 70ms 到 500ms,而且永远不会解析失败。这条是纯工程价值,不是能力。 但要说「碉爆了」,现在还早,有三个坑得盯着。 校准这东西是在训练分布内成立的,出了分布很容易垮,置信度 0.95 可能实际只有 0.6。它的整个价值地基就压在这上面,而你真实业务的分布大概率跟它训练时不一样。所以结论只能是:进 early access 之后拿自己业务里的一个真实判断环节去跑,看校准在你的数据上还成不成立。 「不会幻觉」保证的是类型合法,不是判断正确。{"technical": 0.85} 完全可以是个错误答案,只是它不会返回 {"technicl": 0.85} 这种语法都坏掉的东西。The Register 那篇报道点的就是这个。 数字都是它自己家 workflow eval 跑的,参考答案取 GPT-6 Astra 和 Fable 5.1 的平均,等于偏 OpenAI 和 Anthropic,那几个 workflow 也是自家团队做的。 一句话总结:它不是「更强的聊天模型」,是「能嵌进 if 里、还知道自己有多不确定的分类器」。这个定位确实少见,比单纯刷 benchmark 有意义得多,但值不值得押,取决于它的校准在你的数据上成不成立。