CRAM可学习能量函数论文讲了什么

来自夹夹 QQ 群讨论,审核后公开 · 。查看原始讨论

CRAM 将 Hopfield-Tank 能量函数做成可学习版本来替代 looped 推理,在数独和迷宫上以极小参数量实现百倍级提速,但也反向证明这类窄基准无法有效衡量推理扩展能力。

要点

  1. 核心思路是把 looped 模型的隐式迭代替换为显式可学能量函数,包含负熵、格子间代价矩阵与偏置三项。
  2. 训练采用 pseudolikelihood 等局部目标,无需沿推理轨迹反向传播,省去 BPTT 巨大开销。
  3. 推理时钳住已知线索并行做 Gibbs 下降,达到拟合阈值即早停,计算量随题目难度自适应。
  4. 在数独和迷宫上仅用极少参数与毫秒级训练即达 100% 准确率,但该方案在 ARC-AGI 等复杂任务上仍需引入隐变量扩展。
  5. 对 Agent 与评测的启发是:用确定性搜索替代可兜底的生成环节,并警惕能被极少参数刷满的窄评测集。

来源