https://jiajia.fun/qa/bd2d9b7d-%E8%AE%B2%E8%AE%B2%E8%BF%99%E4%B8%AA-github-com-gamer

# https://github.com/RainBowLuoCS/Gamer 讲讲这个

这是米哈游（Honkai AI R&D Team）刚放出来的长程实时游戏 VLA（视觉-语言-动作）基座模型，核心想解决的是「怎么用纯视觉看屏幕加原生键鼠操作，在 3D 开放世界和 2D 游戏里跑通长周期实时交互」。 整体看下来，它不是那种拿通用多模态大模型套个几秒一帧截屏的玩具，而是从训练到推理引擎全链路针对「高实时性」和「长程任务」做了定制： 1. 动作空间与 Action Chunking 设计 它没有让模型每 33ms 预测一次，而是每次决策直接规划未来 200ms 的动作块，拆成 6 步（每步 33ms）的按键组合，加上全局相对鼠标位移和滚轮。这直接把高频键鼠操作变成了可学习的文本 token 序列（74 个大小写敏感的键位 token）。同时用了稀疏思考（Sparse Reasoning）：常规状态下模型直接跳过思考吐动作，只有遇到局面突变或新目标时才触发思考块。 2. 三阶段训练与长程记忆（TA-GRPO） 训练路线是几万小时设备级键鼠轨迹继续预训练（CPT）-\> 稀疏思考 SFT -\> 在线强化学习（TA-GRPO）。比较关键的是它把「记忆摘要」揉进了 RL 轨迹段里：跨上下文窗口时靠记忆摘要接续进度、已完成目标和失败尝试，配合引擎侧的可验证环境奖励做时间信用分配。在《崩坏：星穹铁道》两个长支线（30 和 55 个里程碑）上，RL 比 SFT 分别提了 7.8 和 14.5 个百分点，达到 80% 和 83.6%。 3. 真正下功夫的是 Streaming-vLLM 推理引擎 游戏 Agent 最大的死穴是延迟和上下文爆炸。他们把 Qwen3.5-35B-A3B MoE 的单次请求端到端延迟从 1306ms 压到了 65.12ms（20 倍加速），靠的是三板斧：持久化上下文与 KV-cache 复用（配合记忆压缩和增量 RoPE 位置刷新）、FSM 有限状态机投机解码（结构化分隔符直接由 FSM 提出并验证，模型只算动作值）、以及早期动作分发（第一个验证通过的动作块出来就先发给客户端执行，不用等整句生成完）。 不过看这个仓库有几个现实边界要注意： - 目前还是「先占坑」状态：仓库刚建，README 里写的论文正文、演示视频以及最核心的 Streaming-vLLM 代码目录全在 TODO 或 Coming soon 里，现在能看到的只有 System Prompt 模板和动作格式规范。 - 算力门槛极高：65ms 延迟是在 NVIDIA H200 四卡并行（TP4）上跑出来的，离普通玩家或中小团队本地跑还有很大距离。 - 泛化性待验证：目前放出的定量评测全集中在自家《崩坏：星穹铁道》的支线和小游戏上，跨到高对抗 FPS、MOBA 或其他复杂 3D 游戏里的真实表现还得等论文和实测放出来再看。
