https://already-clean.goodfire.com/读一下这篇文章

回复 群友 5111： 读完了，Goodfire 的 Nick Cammarata（当年 Distill Circuits 系列的作者之一）写的长文《Neural Networks Are Already Clean》。核心论点一句话：神经网络本来就是"干净"的，过去十年可解释性领域赌错了方向。 1. 它挑战的是什么 主流叙事是叠加（superposition）：网络神经元不够用时，会把不相关的概念硬折进同一个神经元，于是网络成了一个"结"，你得先训练第二个模型（SAE 之类）把它"展开"再研究。作者说他现在认为这个解释是错的，那个著名的猫/车神经元和"车藏进狗神经元"的叠加电路，都是误读。 2. 三个具体翻案 第一，InceptionV1 后期层看起来一团乱，其实是架构缺陷导致深层溢出，加上可解释性工具太弱。改架构后（模型大小和训练数据都不动），最后一层的神经元 % 都能轻松解释，参数规模在 300 倍范围内都保持清晰。空间不够时网络并不会折叠无关概念，只是神经元粒度变粗——一个"车"神经元覆盖各种车，空间够就分化成具体的车。 第二，那个猫车神经元 4e:55 实际是个 V 形（尖角）检测器：猫耳、车头、火焰、狐狸脸、消防船水柱全是 V 形，负极点检测圆的东西。特征可视化在深层被 reward hacking 了——梯度下降走最容易的路，掉进狗神经元出不来，于是看起来像"猫+车"。 第三，经典叠加电路是共享姿态（pose）泛化：车和狗是被姿态拉到一起的，模型里有一百多个跨类别的姿态神经元，之前没人注意到。 3. 他提出的替代概念：递归泛化 神经元长大时会像树枝一样长出子枝。例子很直观：一个检测"iy"的神经元长出了"diy"，再长出"do it yourself"——后者根本不含 iy。所以泛化是分形的，解释也可以分形：先给一个基本解释，想深入再放大。这跟叠加正好相反——泛化把相关的东西聚在一起，是有信息可学的；叠加说两个东西放一起纯属偶然，没信息可学。他认为网络只有一个学习原则，就是泛化。 4. 现代大模型的数据 对 Qwen3-32B 的初步审计：约 90% 的神经元极点只有一个主要功能（常带小的相关分支），约 7% 有两个相关功能，只有 2-4% 还没搞懂；按强激活算接近 97% 不是任意混合。万亿参数级（Kimi K3）的稠密和 MoE 模型结果类似。很多"无关功能"其实是工具不完善造成的误判，比如 Titanic 神经元还有个"下一个词是船"的预测功能，而工具只往回看所以漏掉了。 5. 方法论主张 可解释性有复利效应，像填字游戏：理解了一部分就会约束住其余部分。看到网络 2% 时你根本不知道工具哪里坏了；看到大部分时，剩下的未解释部分直接指向工具缺陷——他们就是这样在 SwiGLU 里发现了一个双负 regime。所以他主张回到"对网络本身做常规科学"：直接看神经元、电路、数据流，用 agent 规模化跑实验验证解释，而不是先造一个聪明的分解模型去还原网络。他把这叫做可解释性的"苦涩教训"：规模化的普通研究胜过精巧的新分解方法。还有一个反直觉的推论——理解整个网络可能比只理解你关心的那小块更容易，因为只盯一行没有交叉线索的填字游戏反而最难填。 用一句判断收尾：这篇文章如果成立，冲击最大的是 SAE/字典学习这条主线的必要性（它一直建立在"必须先展开"的前提上），但作者也坦白这还只是 work hypothesis，配套的正式论文才给语言模型实验的细节，而且他自己就是这个叙事的共同提出者之一，属于自我修正。