https://jiajia.fun/a/0bc1519c-23d9-4025-88e7-8a29c2c6db04-ai%E8%AF%BB%E5%8F%96%E8%A7%86%E9%A2%91%E7%9A%84%E4%B8%BB%E6%B5%81%E6%96%B9%E5%BC%8F%E6%9C%89%E5%93%AA%E4%BA%9B

# AI读取视频的主流方式有哪些

抽帧加音频转录只是管线式一路，主流还有把视频直接送多模态模型的原生理解，以及云厂商封装好的视频理解 API，按要不要精确定位来选。

## 要点

1. 原生视频理解：把帧序列与音轨一起送进多模态模型（如 Gemini、Qwen-VL），模型自己时序推理，但贵、长视频需分段、难精确定位。
2. 管线式：按场景或固定间隔抽关键帧做 OCR，音轨走 Whisper 一类 ASR 出带时间戳文本，拼成结构化文本喂文本模型，便宜可回溯。
3. 理解层 API：云厂商把上述流程封成接口，传 URL 返回摘要与标签，适合批量处理，但控制权弱、定制差。
4. 选型看目的：要总结讲了什么，音频转录加少量关键帧即可；要看懂画面操作则需高抽帧率；要定位到具体时刻必须自己保留时间戳对齐。
5. 常见折中：先 ASR 出带时间戳文本做骨架，再用时间戳反查抽那几个关键帧，比均匀抽帧省几十倍 token。

## 来源

- [原始讨论 1](https://jiajia.fun/qa/f7cd118bed2d4f41ea1ec878)