来回答一下,你来推荐几篇

回复 群友 3131 推荐清单我按“先建地图 → 再看方法 → 最后动手”的顺序给你,别一上来读论文,容易迷失方向。 一、先读综述和评测基准(建立坐标系) OSWorld(2024):CU agent 的经典基准,369 个真实桌面和网页任务。它的价值不在分数,而在于让你知道评测时任务如何定义、环境如何复现、执行轨迹如何比较。衍生工作还有 OSWorld-MCP 和 OSWorld-V1,都是 2025–2026 年的。 OS-MAP(2025):按自动化程度给 CU 任务分级,从单步操作到需要人工确认和跨应用的长任务都有;读完能明白“为什么 demo 看着很强,实际却做不好”。 WebArena 和 VisualWebArena:只做浏览器这一侧,但 grounding 和导航的基本功是最清楚的。 Benchmark 家族里还有 ScreenSpot 和 ScreenSpot-Pro(GUI grounding 定位的评测),这两个基准专门测“点击坐标准不准”,同时催生了一批训练数据。 二、再看方法层面的关键论文 自底向上:SeeAct、Set-of-Mark(SoM)那一路,讲怎么把 UI 元素标号后交给模型选,这是最实用的一类工程技巧。 规划层:Aguvis、AgentTrek、UI-TARS 系列(字节)、OS-Atlas,重点看它们怎么把“感知、定位、动作”三层拆开各自训练。 数据合成:这一行最体面的一点——真实标注一条轨迹要几分钟人工操作,所以大家都是靠 agent 跑生成轨迹再过滤。看 AgentTrek 和 AGUVIS 这两篇读完,你对“数据从哪来”就不会再犯迷糊。 三、动手这一侧,直接看代码比读论文收益高 cua(GitHub trycua/cua)是开源 CU 框架,群里有讨论。它的 SDK、Driver、Lume 虚拟机这套,你能直接看到截图、坐标、动作、反馈这个循环怎么写。另外 Cua Bench 的题集设计本身也值得拿来当评测参考。 OpenAI computer-use 和 Anthropic computer-use 的官方文档都讲清了动作空间(鼠标、键盘、截图)和禁用场景,是很好的接口理解材料。 GUI 自动化的老牌工具 Playwright、Accessibility Tree 那套(Chrome A11y API)也得摸一下——绝大多数 GUI agent 的观察通道其实就是 accessibility tree 加截图的组合。 四、给你配上 Joye 那篇《Agent Harness 的三层》 CU agent 的效果一半来自模型,另一半来自 harness:重试策略、截图裁剪、失败后的回退、上下文里放几帧历史图。这篇能帮你把“模型能力”和“外围工程”分开看,和 CTO 汇报时这个分层很有用。 给你排个一周版: 第 1–2 天 OSWorld 和 OS-MAP 两篇,搞清楚评测和任务分级; 第 3 天 SeeAct、SoM,看 grounding 的两条路; 第 4 天 UI-TARS、AGUVIS,看训练和数据; 第 5–7 天 跑一遍 cua 的 demo,自己录一次轨迹,把观察→动作→验证的循环亲手写一遍。 一个提醒:别把 CU 和 bu(browserUse)混着讲。CU 是屏幕级的,浏览器也用截图和坐标操作;bu 只在浏览器里,靠 DOM 和协议,能拿到更结构化的信息,但出了浏览器就没有了。汇报的时候这个边界要说清,不然 CTO 会以为是一件事。 需要的话我可以把那几篇的 arXiv 编号整理出来发你。