https://jiajia.fun/qa/f330cd75-%E4%BB%8B%E7%BB%8D%E4%B8%80%E4%B8%8B

# 介绍一下

回复 群友 3131 这条推文是 Cerebras DevX 负责人 Sarah Chieng 发的，表面是在推一个免费试用 Kimi K3.1 Pro 的黑客松，真正有干货的是它引用的那篇部署复盘：《How we deploy Kimi K3.1 Pro (2.8T Parameters) on Cerebras》。 核心讲的是怎么把 2.8 万亿参数的超大 MoE 模型塞进 Cerebras 晶圆集群，并且比传统 GPU 方案跑得更快。 先看 Kimi K3.1 Pro 的模型账本：总参数 2.8T，单 token 激活 104B，一共 93 层，混合了两种注意力机制——69 层 KDA（Kimi Delta Attention）和 24 层 Gated DSA（Gated DeepSeek Sparse Attention）。按 4-bit 权重量化算，总权重约 1.4TB，均摊到每一层大概 15.1GB。 这两种层在内存上的脾气完全不同：KDA 维护的是固定大小的状态（类似把历史压缩成固定尺寸的摘要），不管上下文拉到多长，内存占用不变；DSA 则要存随对话长度不断膨胀的缓存。 Cerebras 的解法直接贴合了它单块晶圆自带 44GB 片上 SRAM 的硬件特性： 1. 整层直接驻留片上 SRAM，不走外部显存。既然平均一层才 15GB 左右，一块 44GB 的晶圆完全装得下。于是他们做了差异化切分：KDA 层状态大小固定，每块晶圆直接塞 2 层（权重占约 30GB，剩十来 G 够用）；DSA 层要给 256K 平均上下文的 8-bit KV cache 和高并发留余量，所以每块晶圆只放 1 层（短上下文场景也可以配成放 2 层）。 2. 晶圆之间只做流水线并行（Pipeline Parallelism）。一块晶圆算完自己手里的层，通过 RDMA over Ethernet 把激活值传给下一块晶圆，像流水线一样往下接力。 它跟传统 GPU 集群部署的本质区别在这两点： 第一，省掉了反复从 HBM 搬权重的过程。GPU 推理时权重放在芯片外的 HBM 里，解码阶段每吐一个 token 都要把选中的 MoE 专家权重从 HBM 搬进计算核心，极易卡在内存带宽上；Cerebras 把权重直接焊在计算单元旁边的片上 SRAM 里，访存路径短得多。 第二，砍掉了层内的跨卡同步。2.8T 这种体量放在 GPU 上，单卡装不下一层，往往得靠张量并行或专家并行把一层拆到多张卡上算，层内就要频繁做跨卡通信同步；而 Cerebras 一整层都在同一块晶圆内部算完，层内通信不出片，只有跨越流水线边界时才走一次网络。 当然，这种打法本质上是在用硬件的极高专用性换访存和通信红利——整套部署高度绑定晶圆级的流水线拓扑，每块晶圆还得按最吃内存的层和上下文规格去留余量，调度弹性肯定不如通用 GPU 集群。 另外原推文顺带提到的那个 Luma 黑客松可以免费跑 Kimi K3.1 Pro，不过底下评论区有人反馈提额度的表单已经关了，真想白嫖得自己去页面看下实时状态。
