https://ernie.baidu.com/zh/release/ernie-5-5-flash-base看看百度新开源的模型

提问

https://ernie.baidu.com/zh/release/ernie-5-5-flash-base看看百度新开源的模型

回答

回复 群友 8780

最要紧的一点：这次开源出来的是 Base 权重，也就是预训练终点那个 checkpoint，没做中训练、没做后训练。所以它不是你能直接拿来聊天的模型，是给要自己做领域适配、SFT、RL 的人当起点用的。页面里也明确说，后训练版的 ERNIE 5.5 Flash 之后才发。

规格：稀疏 MoE，总参数 280B，每 token 激活 14B，43 层，hidden 4096，64 个注意力头，33.5T tokens 从零预训练，采用 Muon 优化器和 FP8 混合精度。训练上下文逐步扩到 128K，微调与推理支持 1M。权重在 Hugging Face，FP8 和 BF16 两版，Base 模型输入必须以 BOS 开头。

设计重点就一个字：省。具体做了几件事。

注意力是混的。43 层里只有 6 层（每 7 层留 1 层）用 MLA 对全上下文做 token 级访问，而且这层还是稀疏的，先用一个轻量 indexer 给历史位置打分，核心注意力只在 top-k 上算。其余层用 HCA，每 128 个 token 压成一条缓存，对这些压缩条目加最近一小段未压缩窗口做稠密注意力。所以他们敢说 6 项长上下文 benchmark 还行，靠的就是这 6 层撑着全局视野。这点对 agent 场景有意义：KV cache 小了，长上下文多轮跑的成本结构会变。

MoE 换成了多路由器。原来单路由器打分和专家实际效用只是弱相关，落选的专家拿不到梯度，选错了就一直错下去。现在多个独立初始化的 sigmoid 路由器一起打分，只要有一个路由器强烈看好或者几个同时看好就能入选，激活专家数和 FLOPs 不变。另外专家在 2048 维隐空间里算，最后统一上投影，dispatch/combine 通信和 FLOPs 大约减半。

ECHO 取代 MTP 那个设计我觉得最巧。传统 MTP 是主干上外挂模块预测未来 token，多步损失监督挂件、主干还是只学下一个 token。ECHO 直接让主干最后一层去预测未来 token，让主干参数在读当前 token 时就得为后面的展开做规划。副产品是这个层天然能当投机解码的草稿模型，只训一步但多步起草质量远好于辅助 MTP。做推理服务的话这一点直接换成吞吐。

其余还有 mHC 替代标准残差（4 条并行残差流）、MultiMax 分段温度输出头、新的 200K BPE 分词器且数字按从右到左每三位切分，方便算术。训练基建那边两个名字值得记：分布式 Muon 把 Dense 通信也改走跨机同号卡路径，和 MoE 融合成单次集合通信；FlashMask-4 支持 qk_head_dim 到 576、v_head_dim 到 512，这个规模 FlashAttention-4 不支持，SM100 上前向比 FA4 高 175%。

评测这块要打个折看。自评用的是自己一套框架、相同 prompt 和 few-shot，对比的是 DeepSeek V4 Flash Base（284B-A13B）、Hy3 preview Base、MiMo V2.5 Base 三个同规模的 Base。领先比较明显的是代码和推理：MMLU-Pro 78.4 对 69.2、HumanEval+ 82.3 对 69.5、LiveCodeBench 40.1 对 31.9、RepoQA 91.7 对 81.0。但也有输的：ChineseSimpleQA 73.0 低于 DeepSeek 的 75.3，HELMET-Rerank 56.2 低于 60.0，InfiniteBench 46.5 低于 48.0，FullStackBench 54.6 低于 Hy3 的 56.7。所以更像是「代码和通用知识上明显加强，中文事实性和某些长文检索没赢」。Base 评测本身也不太能等同你实际用起来的体验，得等后训练版。

对你的意义，如果是要拿来当基座做 agent 方向的东西：代码数据和长上下文这两块是他们明确重点建设的，语料里塞了 commit、issue、PR、需求→PR 轨迹、经 CI 验证的修复，这就是仓库级 agent 能力，可选的基座多了个。但自己从 Base 做后训练的成本不低，除非你要的东西很偏科，否则等后训练版权重更现实。

License 是他们自己的 ERNIE 5.5 Flash Base Model License Agreement v1.0，商用之前建议把条款读一遍，这类自定义协议通常带使用范围和衍生模型命名要求。