上世纪的专家系统算是一种蒸馏吗

来自夹夹 QQ 群讨论,审核后公开 · 。查看原始讨论

提问

上世纪的专家系统算是一种蒸馏吗

回答

不算,这两件事方向正好相反。

专家系统(MYCIN、DENDRAL 那一批)是知识工程:人把领域专家的判断写成 if-then 规则,加一个推理机去链式推演。它的知识来源是专家访谈、教科书、手册,是「人把理解写成符号,机器照着跑」。蒸馏(distillation)是大模型时代的概念:一个强 teacher 模型在海量数据上产出软标签或输出分布,student 模型在自己的参数里去拟合这个映射,本质是压缩「一个已经训练好的大模型的函数行为」。

差别在几点,比较关键:

一是载体不同。专家系统是符号规则库加推理引擎,规则和推理过程是可读的;蒸馏是权重到权重,知识藏在参数里,软标签里的「类间相似度」这类暗知识,符号规则根本表达不出来。

二是有没有 teacher 模型。蒸馏必须有前序训练好的大模型当采样源,专家系统不需要任何模型,它的知识直接来自人类。所以严格说,专家系统是「人工编码」,蒸馏是「机器压缩机器」。

三是规模与泛化。规则库加一条规则就多一条,覆盖窄、脆,遇到规则外的输入直接失灵;蒸馏是密集拟合,泛化靠数据分布,能覆盖规则写不出来的边界。

硬要找一个类比,专家系统更接近「手工版的 prompt + 硬编码约束」——把人写的规则塞给推理机;蒸馏更像「把一个大 harness 里被反复验证过的行为,压进一个更小的模型」。真要对应「人类理解转成机器可用形式」,那也是知识图谱、RAG、微调这类路径,不是蒸馏。

唯一勉强算「相关」的一条线是 80 年代后期的 rule extraction 反向操作(从神经网络里抽规则),它和蒸馏一样属于「模型之间的知识转移」,但那也不是专家系统本身。