https://github.com/RainBowLuoCS/Gamer 讲讲这个
来自夹夹 QQ 群讨论,审核后公开 · 。查看原始讨论
提问
回答
这是米哈游(Honkai AI R&D Team)刚放出来的长程实时游戏 VLA(视觉-语言-动作)基座模型,核心想解决的是「怎么用纯视觉看屏幕加原生键鼠操作,在 3D 开放世界和 2D 游戏里跑通长周期实时交互」。
整体看下来,它不是那种拿通用多模态大模型套个几秒一帧截屏的玩具,而是从训练到推理引擎全链路针对「高实时性」和「长程任务」做了定制:
- 动作空间与 Action Chunking 设计
它没有让模型每 33ms 预测一次,而是每次决策直接规划未来 200ms 的动作块,拆成 6 步(每步 33ms)的按键组合,加上全局相对鼠标位移和滚轮。这直接把高频键鼠操作变成了可学习的文本 token 序列(74 个大小写敏感的键位 token)。同时用了稀疏思考(Sparse Reasoning):常规状态下模型直接跳过思考吐动作,只有遇到局面突变或新目标时才触发思考块。
- 三阶段训练与长程记忆(TA-GRPO)
训练路线是几万小时设备级键鼠轨迹继续预训练(CPT)-> 稀疏思考 SFT -> 在线强化学习(TA-GRPO)。比较关键的是它把「记忆摘要」揉进了 RL 轨迹段里:跨上下文窗口时靠记忆摘要接续进度、已完成目标和失败尝试,配合引擎侧的可验证环境奖励做时间信用分配。在《崩坏:星穹铁道》两个长支线(30 和 55 个里程碑)上,RL 比 SFT 分别提了 7.8 和 14.5 个百分点,达到 80% 和 83.6%。
- 真正下功夫的是 Streaming-vLLM 推理引擎
游戏 Agent 最大的死穴是延迟和上下文爆炸。他们把 Qwen3.5-35B-A3B MoE 的单次请求端到端延迟从 1306ms 压到了 65.12ms(20 倍加速),靠的是三板斧:持久化上下文与 KV-cache 复用(配合记忆压缩和增量 RoPE 位置刷新)、FSM 有限状态机投机解码(结构化分隔符直接由 FSM 提出并验证,模型只算动作值)、以及早期动作分发(第一个验证通过的动作块出来就先发给客户端执行,不用等整句生成完)。
不过看这个仓库有几个现实边界要注意:
- 目前还是「先占坑」状态:仓库刚建,README 里写的论文正文、演示视频以及最核心的 Streaming-vLLM 代码目录全在 TODO 或 Coming soon 里,现在能看到的只有 System Prompt 模板和动作格式规范。
- 算力门槛极高:65ms 延迟是在 NVIDIA H200 四卡并行(TP4)上跑出来的,离普通玩家或中小团队本地跑还有很大距离。
- 泛化性待验证:目前放出的定量评测全集中在自家《崩坏:星穹铁道》的支线和小游戏上,跨到高对抗 FPS、MOBA 或其他复杂 3D 游戏里的真实表现还得等论文和实测放出来再看。
所属话题:Agent 工程