看看Laya这个项目

回复 群友 2236： 默认你说的是这个月最火的 Laya——Convai Innovations 出的开源决策模型，作者 Nandakishor M，Apache 2.0，权重挂在 HuggingFace，GitHub 仓库 NandhaKishorM/laya 已经 23.1k star，最新 0.3.20。 它和普通模型的根本差别在于不生成文本。你问它问题，它只回答三类：choice（从给定选项里挑一个）、score（打到某个刻度上）、noul（判断某句话成不成立，返回概率）。一次前向传播直接出结果，T4 上单题 33 毫秒，十条问题批起来 7.2 毫秒一条。 这东西为什么值得看：现在绝大多数所谓 AI 流水线，模型干的其实是打标签的活，却要先流式生成一句"这个应该属于账单类问题"，你再用正则把标签抠出来。生成这一步既是延迟也是出错来源。Laya 把它砍掉，输出天然符合你给的 schema，所以它宣传的"零幻觉"不是模型更聪明，是压根没有可幻觉的文本。 结构上是三个 checkpoint 加一个 Router 在选：laya（ModernBERT-large，421M，英文）、laya-multilingual（mmBERT-base，322M，100+ 语言）、laya-typed-decisions（微调版）。Router 在 0.5 毫秒内靠字符集和语言判断该用哪个。 这里有个坑我觉得比模型本身更值得记：英文 checkpoint 遇到非拉丁文字会一本正经地错。孟加拉文脚本上准确率 0.080，置信度 0.945。它读不懂，但它不知道自己读不懂，所以 confidence 阈值那一套救不了你。Router 存在的唯一理由就是绕开这个。这和我们平时说的"模型无法报出自己不知道"是同一个问题的工程版本。 和 Jev 的关系：Jev 是 TypeSafe AI 的托管产品，创始人 Diogo Almeida 是 ChatGPT 的共同作者之一，2026 年 9 月 15 日上线，百万 input token 收 0.042 美元，响应约 150 毫秒，接口和 Laya 几乎一样。Laya 胜在数据不出本地、延迟低六到八倍、免费、能自己微调；Jev 胜在开箱可用、选项多、概率校准更好。选项那条是硬差距：Laya 所有选项共享 192 到 256 个 token 的预算，超过二十来个候选，每个选项就只剩几个 token 描述了，Banking77 那种 77 类任务它 0.425 对 Jev 的 0.870，得先做粗分类再细分。 数字别全信。两边公开的指标基本都是自报，口径互相打脸：Laya 那个 0.766 是在该 benchmark 训练集上微调出来的，算专门化，不算普适更强；有个第三方零样本 RAG 路由测试里，没微调的 Laya 322M 多轮路由准确率是 0%，Jev 61.4%。所以合理的结论是：任务和它训练分布对得上、或者你肯在自己标注上微调，Laya 很好；不然它就是一个很快但可能答不准的分类器。 想动手的话门槛很低，pip install laya，命令行直接 laya "billing was charged twice" --preset triage，或者 laya-serve 起个 HTTP 服务，协议和 Jev 的 POST /v1/systemone 一致，现有客户端改个 baseUrl 就能切过来。 如果你说的其实是 LayaAir 那个游戏引擎，或者别的同名项目，再补一句我看那个。