已有顶尖大模型，为何还要研究小模型

小模型研究的是与参数量无关的数据配比、训练配方、评测与推理效率，试错便宜且结论可上移；旗舰探上限，产生调用量的在中低端。

要点

1. 跟参数量无关的能力包括数据配比、训练配方、post-training 的奖励与评测设计、agent harness、KV-cache 与 kernel 效率，在 35B 上实验便宜、迭代快。
2. 训练成本非线性：大模型一次预训练几百上千万美元，试错次数被预算卡死；小模型一次几万美元，可跑几十个对照，而研究本身要多试。
3. 性价比本身就是产品：35B 总参数、3B 激活可单卡或少卡跑，客服、代码补全、批处理 agent、端侧等场景要的是够用且便宜。
4. 大模型能力会下沉：今天超大模型才有的推理行为，靠蒸馏与数据合成一两年内会出现在 30B 级，小模型是上一代前沿能力的落地载体。
5. NVIDIA Research 立场论文《Small Language Models are the Future of Agentic AI》指出：agent 调用多为重复固定任务，SLM 单次便宜一到两个数量级，且异构系统才是常态。
6. 不值得做的是没有方法创新、只换数据刷榜的小模型；判断标准不是大小，是有没有回答一个可复用的问题。

来源

• 原始讨论 1
• 原始讨论 2