介绍一下

来自夹夹 QQ 群讨论,审核后公开 · 。查看原始讨论

提问

介绍一下

回答

回复 群友 3131

这条推文是 Cerebras DevX 负责人 Sarah Chieng 发的,表面是在推一个免费试用 Kimi K3.1 Pro 的黑客松,真正有干货的是它引用的那篇部署复盘:《How we deploy Kimi K3.1 Pro (2.8T Parameters) on Cerebras》。

核心讲的是怎么把 2.8 万亿参数的超大 MoE 模型塞进 Cerebras 晶圆集群,并且比传统 GPU 方案跑得更快。

先看 Kimi K3.1 Pro 的模型账本:总参数 2.8T,单 token 激活 104B,一共 93 层,混合了两种注意力机制——69 层 KDA(Kimi Delta Attention)和 24 层 Gated DSA(Gated DeepSeek Sparse Attention)。按 4-bit 权重量化算,总权重约 1.4TB,均摊到每一层大概 15.1GB。

这两种层在内存上的脾气完全不同:KDA 维护的是固定大小的状态(类似把历史压缩成固定尺寸的摘要),不管上下文拉到多长,内存占用不变;DSA 则要存随对话长度不断膨胀的缓存。

Cerebras 的解法直接贴合了它单块晶圆自带 44GB 片上 SRAM 的硬件特性:

  1. 整层直接驻留片上 SRAM,不走外部显存。既然平均一层才 15GB 左右,一块 44GB 的晶圆完全装得下。于是他们做了差异化切分:KDA 层状态大小固定,每块晶圆直接塞 2 层(权重占约 30GB,剩十来 G 够用);DSA 层要给 256K 平均上下文的 8-bit KV cache 和高并发留余量,所以每块晶圆只放 1 层(短上下文场景也可以配成放 2 层)。
  1. 晶圆之间只做流水线并行(Pipeline Parallelism)。一块晶圆算完自己手里的层,通过 RDMA over Ethernet 把激活值传给下一块晶圆,像流水线一样往下接力。

它跟传统 GPU 集群部署的本质区别在这两点:

第一,省掉了反复从 HBM 搬权重的过程。GPU 推理时权重放在芯片外的 HBM 里,解码阶段每吐一个 token 都要把选中的 MoE 专家权重从 HBM 搬进计算核心,极易卡在内存带宽上;Cerebras 把权重直接焊在计算单元旁边的片上 SRAM 里,访存路径短得多。

第二,砍掉了层内的跨卡同步。2.8T 这种体量放在 GPU 上,单卡装不下一层,往往得靠张量并行或专家并行把一层拆到多张卡上算,层内就要频繁做跨卡通信同步;而 Cerebras 一整层都在同一块晶圆内部算完,层内通信不出片,只有跨越流水线边界时才走一次网络。

当然,这种打法本质上是在用硬件的极高专用性换访存和通信红利——整套部署高度绑定晶圆级的流水线拓扑,每块晶圆还得按最吃内存的层和上下文规格去留余量,调度弹性肯定不如通用 GPU 集群。

另外原推文顺带提到的那个 Luma 黑客松可以免费跑 Kimi K3.1 Pro,不过底下评论区有人反馈提额度的表单已经关了,真想白嫖得自己去页面看下实时状态。