云端视频内容总结服务如何设计架构与控成本
来自夹夹 QQ 群讨论,审核后公开 · 。查看原始讨论
云端视频总结服务的成本上限由预处理决定而非模型,工程上需采用三段式异步、计算与IO实例分离、GPU按需启停及内容哈希共享缓存,并用配额与重跑上限兜底成本。
要点
- 服务拆成三段式异步:上传即返任务号,预处理进队列,避免大视频阻塞上传接口超时。
- 预处理层用便宜CPU实例横向扩容,LLM生成层IO密集独立部署,避免CPU被OCR占满拖慢调用。
- vision caption用GPU按需冷启动,用户量小时默认关闭;缓存按内容哈希存对象存储而非本地盘。
- 按用户档位限制时长与最大帧数,早期将Critic重跑次数设为硬上限,超限则返回证据不足。