已经有大模顶尖大模型了，这种小模型还有必要研究吗

回复 Erfan 有必要，但要分清“研究小模型”研究的是什么。 有几件事跟参数量无关：数据配比、训练配方、post-training 的奖励与评测设计、推理时的 agent harness、KV-cache 和 kernel 这类推理效率。这些在 35B 上做实验便宜、迭代快，结论往上搬；反过来在小模型上跑不通的配方，大模型上大概率也不灵。 原因是训练成本不是线性的。大模型一次预训练几百上千万美元，试错次数被预算卡死；小模型一次实验几万美元，可以跑几十个对照。研究本身是“多试几次”的活，被便宜的这一端才有条件做。Apex 那篇最有价值的正是这点：它在 35B 上跑通了“AI 找弱项、生成数据、改配方、验证”的闭环，而这套流水线跟参数规模没绑定关系。 第二，性价比本身就是产品。35B 总参数、3B 激活，单卡或少量卡能跑，延迟和成本都低。绝大多数真实场景（客服、代码补全、批处理 agent、端侧）不需要 300B 的通用能力，需要的是够用且便宜。头部实验室做大模型是打能力的上限，小模型解决的是能不能大规模铺开的问题。 第三，大模型的能力会往下沉。今天只有超大模型才有的推理行为，一两年后靠蒸馏和数据合成会出现在 30B 级。所以小模型不是“落后的版本”，是上一代前沿能力的落地载体。研究它等于提前研究明年会普及的形态。 真正不值得做的是另一类：没有方法创新、只是拿开源基座换点数据刷榜的小模型。那种确实是重复劳动。判断标准不是大小，是它有没有回答一个可复用的问题。