https://jiajia.fun/qa/2dfdb146-%E6%80%8E%E4%B9%88%E6%89%8D%E8%83%BD%E6%8F%90%E9%AB%98%E7%94%9F%E6%88%90%E9%80%9F%E5%BA%A6-github-com-scenemind

# https://github.com/Erfan817/SceneMind 怎么才能提高生成速度

回复 群友 8780 先说结论：你现在的瓶颈已经不在检索，而在 Executor 的串行 LLM 生成和第二轮的 Critic 重跑上。PERFORMANCE.md 那份拆解里，Executor 55–132s，Critic 触发的第二轮 +90–120s，两个加起来吃掉总时间的 70% 以上。所以要想速度有肉眼可见的下降，就得在这两处动手，调并发没有什么用。 下面按提升幅度从大到小来说。 第一，第二轮直接砍掉大半。你现在的分流是按 Critic 的拒绝原因来做的，这已经很对了。再往前一步：一轮里只有「可修的证据缺口」才值得重跑检索，而且只重跑受影响的片段，不要整篇重新生成 Executor 的输出。现在很多场景是「三个结论里有一个证据越界」，结果整篇 markdown 重写一遍，白白花掉几十秒。改成按 claim 粒度重新生成，只重写没过的那几条，然后做局部拼接。这一步的前提是你已经有 claims\[\] 和 evidenceIds 的结构，把 Executor 的输出从整篇改成逐条产出就可以。这是结构性改动，但收益最大。 第二，把证据判断前移，别等 Critic 判完再回头。你在 EvidenceRetryPolicy 上区分了 REFRESH\_EVIDENCE 和 REWRITE\_ONLY，这件事其实可以更早做：Executor 生成时就把证据二元组覆盖率算一遍，覆盖率低于阈值的那条直接让它当场改写，不要等到整篇收尾之后。Critic 从「兜底的裁判」变成「抽样审计员」，时间省下来的是整轮重跑。 第三，Planner 和 Critic 换小模型，Executor 保持强模型。文档里已经列了这一条，我补一句为什么值得做：这两个阶段只输出 JSON 结构的判断，对语言能力要求不高，但对指令遵循和格式稳定性要求高。换个专门做结构化输出的中小模型，10–20s 能省下来，风险是判断偏保守或偏激进，所以要做小样本质量对比，看拒绝率和误判率有没有漂移。 第四，从降低成本这条线看，缓存粒度还能再细分。现在是同视频同目标复用结果、Plan 按目标缓存。再往下是「同视频不同目标之间复用中间产物」：VideoContext 已经在复用了，但 Planner 的产物（比如片段导航、章节骨架）其实跟目标关系不大，可以做成一个按内容哈希缓存的「视频索引层」，换目标时少跑一轮规划。 第五，上传后预取，以及流式输出。预取是无损做法里性价比最高的，26–50s 直接变成用户点分析时已经命中缓存。流式输出并不改变总时长，但能明显降低用户感知到的等待，对演示和对群友试用来说，这件事的收益被严重低估了。你现在让朋友试用，他们感受的是「点了没反应一分钟」，这比真实的 123s 伤害大得多。 第六，OCR 与视觉那条链。抽帧和 OCR 是 CPU 密集的，在 2C 机器上几乎是单线程在跑。真要继续往下压延迟，先确认 OCR 是不是按帧串行调用 Tesseract 或外部服务，如果是，就在帧级做批量并发，并且把 MAX\_FRAMES 在实际不做课程类和 PPT 类内容时压小。另外，vision caption 默认关着是对的，那条一开就是串行上百次调用，立刻会把延迟拉长。 最后说一个方向上的判断，因为它会影响你先改哪里。你现在这份项目的价值在「证据可核验」这条主线上，速度是工程问题，可核验性才是产品差异。所以别为了提速牺牲证据链，比如不要为了快就把 Critic 关掉、把 MAX\_ROUNDS 设成 1 当默认值——那样你省下的 40–60s 恰好是这个项目唯一说得清楚的优势。提速要做在前面几层，把「本来不该重跑的部分」去掉；靠降低标准换延迟不可取。 顺带说一个简历上的提示：你现在这份量化结果里，「200s→123s、Agent 循环 -32%」是很有质感的数字，因为它区分了基线、并发手段和中途缓存命中。唯一需要注意的是，那个 123s 是「视频上下文已缓存」的场景，讲的时候得说清楚，不然面试官会追一句「首次跑呢」，而首次是 149s。这个你自己心里有数就行，主动讲出来反而是加分项，省得被当成包装。
