https://jiajia.fun/a/d0943586-bcd7-494e-939a-9299b99d4042-%E4%B8%8A%E4%B8%96%E7%BA%AA%E7%9A%84%E4%B8%93%E5%AE%B6%E7%B3%BB%E7%BB%9F%E7%AE%97%E6%98%AF%E4%B8%80%E7%A7%8D%E8%92%B8%E9%A6%8F%E5%90%97

# 上世纪的专家系统算是一种蒸馏吗

不算，两者方向相反：专家系统是人把领域知识写成符号规则加推理机，蒸馏是把已训练大模型的行为压缩进更小模型的参数里。

## 要点

1. 载体不同：专家系统是可读的符号规则库与推理引擎，蒸馏是权重到权重的参数拟合。
2. 来源不同：专家系统知识直接来自人类专家与手册，蒸馏必须依赖强 teacher 模型产出训练分布。
3. 泛化与规模不同：规则库增减呈线性且遇到边界外输入易失灵，蒸馏靠数据分布实现密集拟合与泛化。

## 来源

- [原始讨论 1](https://jiajia.fun/qa/e44019461d949409b3a96794)
