再看看这个,来判断一下rsi是否存在实现的预兆了https://x.com/rikiyatakehi/status/2117313742891327994
回复 群友 3131 这篇推文就是昨天那篇博客的原推,内容一致,没有新东西。所以判断 RSI 是否有实现预兆,要看的是同一批证据,而不是这段话本身。 先直接给结论:这是 RSI 的一个组件,不能算预兆;它补上了闭环里最难自动化的一环,但闭环还差好几段。 为什么这次比之前那些「LLM 改代码」的自我改进更接近 RSI: 以前那种自我改进,改的是代码和 prompt,改完拿评测指标验证。问题在于搜索空间是文本,模型写出来的代码能不能用,要靠跑一遍才知道,试错成本高,而且极易过拟合到评测集。这次改的是权重数值本身:Astra 读到的是网络实际学到的结构,再直接写入它想要的程序。搜索空间从「写代码」变成「看结构、下诊断、动手术」。这是质的区别,因为后者需要模型对另一个网络的内部状态有表征能力,而这件事此前从来没有被证实过。 支撑 RSI 判断的三个证据点是: 一、它有诊断闭环。Astra 先要若干次前向 pass,看模型在哪里卡住,判断根因是循环,然后才改权重。这不是盲目搜索,而是「读→诊断→写」的循环,而且它自己报出了病根。RSI 的核心是模型能定位自己的问题,而不是能生成变体。 二、反向对照证明它知道什么时候不该动。对 Gemma 3 270M,它判断没有可关掉的开关,就收手了,MATH-500 只从 6.8 到 7.7,还承认不成立。这种「无效就停」的克制,比涨多少分更像 RSI 的雏形。不会止损的改进体系只会越改越糟。 三、路径依赖的迹象。从 0 pass 到 10 次、25 次几乎无效,到 50 次才生效;这说明它的改进是有相变点的,不是线性调参。它确实在系统性地深入,而不是乱撞。 但离真正的 RSI 还差四段: 一是改进对象不是自己。改的是 Qwen3.5-0.8B,不是 Astra 自己。改别人容易,改自己难得多,因为改自己会破坏正在用来判断的能力。 二是读权重的能力只对结构干净的小网络成立。同一个 Gemma 3 270M 微调出诚实和谄媚两份,只看权重分不出来,得允许它看注意力模式。超过 0.8B 的模型权重根本塞不进上下文,作者自己说瓶颈就在上下文长度和 harness。 三是没有自主的评测生成和长期累积。它每一轮都要人给 prompt、给沙盒、给 pass 预算。目前还没有「自己决定下一个改什么、自己造测试、自己判断是否变好」的循环,现在只是单点手术。 四是没有任何跨轮次的经验保留。它改完 0.8B 的经验,不能自动变成下次改别的模型时更好的直觉。RSI 需要这个累积。 所以准确的说法是:这次证明了「模型能直接读写另一个网络的权重并有效修复它」,这解决了 RSI 闭环里最卡的一环,也就是改进动作本身。但闭环剩下的部分,包括自评标准、自我指向、长期累积、可扩展规模,都还没有实现。 按现在的进展速度,我更倾向认为未来几年的形态是:frontier 模型当外部优化器,去优化小模型,而不是模型优化自己。这条路先跑通,是工程路径上最优先推进的方向。真正的自我改进,可能先在最干净的小模型上出现,而不是在最强的模型上。 你要真判断「是不是预兆」,我建议盯三件事:第一,Astra 这类能力什么时候能读自己同规模的权重;第二,有没有人做出「自评并决定下一步改什么」的外环;第三,改进后的结果能不能沉淀成下一代模型的先验。这三件里任意一件做出来,才算预兆。现在只剩一个组件,还不能算预兆。