上世纪的专家系统算是一种蒸馏吗

来自夹夹 QQ 群讨论,审核后公开 · 。查看原始讨论

不算,两者方向相反:专家系统是人把领域知识写成符号规则加推理机,蒸馏是把已训练大模型的行为压缩进更小模型的参数里。

要点

  1. 载体不同:专家系统是可读的符号规则库与推理引擎,蒸馏是权重到权重的参数拟合。
  2. 来源不同:专家系统知识直接来自人类专家与手册,蒸馏必须依赖强 teacher 模型产出训练分布。
  3. 泛化与规模不同:规则库增减呈线性且遇到边界外输入易失灵,蒸馏靠数据分布实现密集拟合与泛化。

来源