能否详细的说一下,“需要人类干预”到底是什么样的干预?人类要做什么?根据你的说法的信息源进行回答
按这篇原文,先澄清一个重要边界:它说 Agent 仍需要人类引导,但没有详细公布“什么动作算一次干预”,也没有给出具体干预案例。因此,不能把补提示词、改代码、审批权限等,直接说成这项统计已经明确包含的类别。 你问“人类到底要做什么”,可以分成原文能确认的内容,以及原文没有交代的内容。 一、那句“超过一半需要干预”,具体是什么意思? 文章第 3 节写道: “agents still require significant human steering to be successful especially as task complexity rises.” 意思是:Agent 要成功完成任务,仍需要相当程度的人类引导,尤其是在任务复杂度增加时。 紧接着是: “In the last 6 months over half of successful 4-8 hour tasks involved 1 or more interventions.” 这里有三个容易误读的地方。 “4—8 小时”指估计由人类完成任务所需的时间,是任务难度的代理指标,不是 Agent 实际运行了 4—8 小时。 “超过一半”的分母是成功完成的这类任务,不是所有任务。它说明成功不等于全程自主,不意味着超过一半任务失败了。 “至少一次”没有说明干预耗时。人类提醒一句和亲自排查半小时,对人的负担差别很大,但这段统计无法区分。不能据此推断研究员必须一直盯着 Agent。 二、原文明确说,人类仍负责哪些事? 文章开头明确列了三类: 确定研究优先级。 判断哪些想法和结果值得继续追。 决定是否扩大规模、暂停或部署系统。 文章对“自动化研究实习生”的定义也很关键:在人类指导下,执行定义清楚的研究任务,包括熟练研究员需要几天才能完成的任务。 换句话说,它呈现的分工不是“给 Agent 一个宏大目标,之后完全不用管”,而是人类负责研究方向和关键判断,Agent 承担被明确委派的执行工作。 不过,这些属于文章明确描述的人类职责,不等于它们都被计入了上面那项“干预次数”统计。原文没有把两者逐项对应起来。 三、落到一个具体场景,人类可能怎样参与? 下面只是帮助理解这种分工的假设例子,不是文中的真实案例,也不是官方公布的干预分类。 假设研究员让 Agent:“实现一种训练方案,运行评测,并分析相对基线有没有提升。” 开始前,人类明确研究目标、基线和评测要求,对应“定义清楚的任务”。这属于任务委派,不能直接断言算一次干预。 执行中,假如 Agent 选错了对照条件,人类指出:“这两组实验的训练预算不同,不能直接比较,按相同预算重跑。”这就是通常语义上的中途引导,但本文没有说明它的统计分类器是否这样计数。 结果出来后,人类判断:“这个提升是否可信?是否值得追加算力?”这对应原文明说的“判断哪些想法和结果值得继续追”。但最终审查是否算干预,文章同样没有说明。 所以,“人类干预”不能简单理解为“人类替它写代码”。引导方向、纠正任务理解和判断结果,都可能是人类参与的形式;只是这篇文章没有给出各类参与的统计口径。 四、这篇信息源还不足以回答什么? 它没有披露一次干预的操作定义,也没有说明干预通常发生在哪个阶段、每次花多少人力、最常见的原因是什么,以及有多少任务需要人类亲自修改代码。 方法上,它用 Agent 分类器分析任务成功情况,并排除了结果不确定的分类。因此,这更接近内部使用记录的分析,不是“统一任务、禁止人类参与”的纯自主能力测试。 最准确的结论是:这些 Agent 已经能完成较长的研究任务,但不少成功来自“Agent 执行+人类中途引导”,而非独立完成。至于人类到底要介入多少分钟、具体做哪些操作,这篇原文没有提供足够细节;我之前的推荐也不应让人误以为这些已经被详细披露。 来源:文章第 3 节、开头对研究实习生和人类职责的说明,以及方法附录。 https://openai.com/index/research-acceleration-view-inside-openai/