模型即 harness 这种呢

回复 Erfan 这个说法不对,但也不是完全没道理,得分开看。 先说不对的地方。harness 是模型之外的一切,prompts、tools、工具结果怎么回来、跑它们的 loop。模型是这堆东西的被调用方,不是同一层的东西。说「模型即 harness」等于把被编排的东西说成编排器,字面上就站不住。 再说它想表达的合理内核。有两种读法,都成立但不该这么讲。 第一种读法:模型能力上来了,harness 里很多原本需要显式实现的东西被模型吃掉了。比如早期要手写规划器、要拆步骤、要用 pydantic 卡结构化输出,现在模型自己就能做结构化输出,自己就能做多步计划。所以 harness 在变薄。这是真的,三层 harness 里那一层通用补丁确实在被吸收。 第二种读法:同一个模型,换一套 harness,实际能力差出好几倍。这时候决定效果的不是模型,是 harness。这也有数据支撑,Factory 那篇里 310 万 token 对 6 万 token 就是极端例子。 但这两个都推不出「模型即 harness」。它们推出来的是:模型和 harness 的边界在移动,通用层在往模型里收,组织层和产品层在往外长。你那篇博文的主线其实讲的就是这个。 更准确的表述我建议用这句:模型决定能力上限的一部分,harness 决定你能拿到多少。或者更直接一点——模型是方差的主要来源之一,harness 是均值的决定因素。想要金句的话,「护城河在 harness,但护城河不是模型」比「模型即 harness」站得住。 顺便提醒一个踩坑点。这个说法如果拿去面试讲,会被追问:如果模型即 harness,那模型换代时你的 harness 为什么还需要改?为什么 prompt cache 会失效、工具定义要重排、压缩阈值要重调?答不上来就说明二者不是同一样东西。真实情况恰恰相反:正因为它们不是一回事,模型升级才会反过来逼着 harness 改。