https://jiajia.fun/a/a0d30cb1-4df6-4b49-8c16-829e7e5f7d7b-%E4%BA%91%E7%AB%AF%E8%A7%86%E9%A2%91%E5%86%85%E5%AE%B9%E6%80%BB%E7%BB%93%E6%9C%8D%E5%8A%A1%E5%A6%82%E4%BD%95%E8%AE%BE%E8%AE%A1%E6%9E%B6%E6%9E%84%E4%B8%8E%E6%8E%A7%E6%88%90%E6%9C%AC

# 云端视频内容总结服务如何设计架构与控成本

云端视频总结服务的成本上限由预处理决定而非模型，工程上需采用三段式异步、计算与IO实例分离、GPU按需启停及内容哈希共享缓存，并用配额与重跑上限兜底成本。

## 要点

1. 服务拆成三段式异步：上传即返任务号，预处理进队列，避免大视频阻塞上传接口超时。
2. 预处理层用便宜CPU实例横向扩容，LLM生成层IO密集独立部署，避免CPU被OCR占满拖慢调用。
3. vision caption用GPU按需冷启动，用户量小时默认关闭；缓存按内容哈希存对象存储而非本地盘。
4. 按用户档位限制时长与最大帧数，早期将Critic重跑次数设为硬上限，超限则返回证据不足。

## 来源

- [原始讨论 1](https://jiajia.fun/qa/e25ae24d47aa04f2c33c3f12)
