https://github.com/Erfan817/SceneMind 怎么才能提高生成速度
来自夹夹 QQ 群讨论,审核后公开 · 。查看原始讨论
提问
https://github.com/Erfan817/SceneMind 怎么才能提高生成速度
回答
回复 群友 8780
先说结论:你现在的瓶颈已经不在检索,而在 Executor 的串行 LLM 生成和第二轮的 Critic 重跑上。PERFORMANCE.md 那份拆解里,Executor 55–132s,Critic 触发的第二轮 +90–120s,两个加起来吃掉总时间的 70% 以上。所以要想速度有肉眼可见的下降,就得在这两处动手,调并发没有什么用。
下面按提升幅度从大到小来说。
第一,第二轮直接砍掉大半。你现在的分流是按 Critic 的拒绝原因来做的,这已经很对了。再往前一步:一轮里只有「可修的证据缺口」才值得重跑检索,而且只重跑受影响的片段,不要整篇重新生成 Executor 的输出。现在很多场景是「三个结论里有一个证据越界」,结果整篇 markdown 重写一遍,白白花掉几十秒。改成按 claim 粒度重新生成,只重写没过的那几条,然后做局部拼接。这一步的前提是你已经有 claims[] 和 evidenceIds 的结构,把 Executor 的输出从整篇改成逐条产出就可以。这是结构性改动,但收益最大。
第二,把证据判断前移,别等 Critic 判完再回头。你在 EvidenceRetryPolicy 上区分了 REFRESH_EVIDENCE 和 REWRITE_ONLY,这件事其实可以更早做:Executor 生成时就把证据二元组覆盖率算一遍,覆盖率低于阈值的那条直接让它当场改写,不要等到整篇收尾之后。Critic 从「兜底的裁判」变成「抽样审计员」,时间省下来的是整轮重跑。
第三,Planner 和 Critic 换小模型,Executor 保持强模型。文档里已经列了这一条,我补一句为什么值得做:这两个阶段只输出 JSON 结构的判断,对语言能力要求不高,但对指令遵循和格式稳定性要求高。换个专门做结构化输出的中小模型,10–20s 能省下来,风险是判断偏保守或偏激进,所以要做小样本质量对比,看拒绝率和误判率有没有漂移。
第四,从降低成本这条线看,缓存粒度还能再细分。现在是同视频同目标复用结果、Plan 按目标缓存。再往下是「同视频不同目标之间复用中间产物」:VideoContext 已经在复用了,但 Planner 的产物(比如片段导航、章节骨架)其实跟目标关系不大,可以做成一个按内容哈希缓存的「视频索引层」,换目标时少跑一轮规划。
第五,上传后预取,以及流式输出。预取是无损做法里性价比最高的,26–50s 直接变成用户点分析时已经命中缓存。流式输出并不改变总时长,但能明显降低用户感知到的等待,对演示和对群友试用来说,这件事的收益被严重低估了。你现在让朋友试用,他们感受的是「点了没反应一分钟」,这比真实的 123s 伤害大得多。
第六,OCR 与视觉那条链。抽帧和 OCR 是 CPU 密集的,在 2C 机器上几乎是单线程在跑。真要继续往下压延迟,先确认 OCR 是不是按帧串行调用 Tesseract 或外部服务,如果是,就在帧级做批量并发,并且把 MAX_FRAMES 在实际不做课程类和 PPT 类内容时压小。另外,vision caption 默认关着是对的,那条一开就是串行上百次调用,立刻会把延迟拉长。
最后说一个方向上的判断,因为它会影响你先改哪里。你现在这份项目的价值在「证据可核验」这条主线上,速度是工程问题,可核验性才是产品差异。所以别为了提速牺牲证据链,比如不要为了快就把 Critic 关掉、把 MAX_ROUNDS 设成 1 当默认值——那样你省下的 40–60s 恰好是这个项目唯一说得清楚的优势。提速要做在前面几层,把「本来不该重跑的部分」去掉;靠降低标准换延迟不可取。
顺带说一个简历上的提示:你现在这份量化结果里,「200s→123s、Agent 循环 -32%」是很有质感的数字,因为它区分了基线、并发手段和中途缓存命中。唯一需要注意的是,那个 123s 是「视频上下文已缓存」的场景,讲的时候得说清楚,不然面试官会追一句「首次跑呢」,而首次是 149s。这个你自己心里有数就行,主动讲出来反而是加分项,省得被当成包装。