现在安卓上面agent怎么实现控制手机的 普通手机没有经过专门优化
回桧: 普通安卓手机也能做,不一定要厂商专门优化。核心是“模型负责判断,手机上的执行程序负责看屏幕、点击和输入”,不是模型直接接管系统。 主要有三条路: 1. 无障碍服务 用户手动授权后,程序可以读取界面提供的按钮、文字等信息,并执行点击、滑动、输入。比如模型判断要点“搜索”,执行程序找到这个按钮并点击。不需要每个 App 提供 API,但自绘界面可能读不到完整信息。 2. 截图+模拟操作 读不到按钮结构时,就让视觉模型看截图,判断点击坐标,再通过已授权的控制接口执行。截图只是“眼睛”,本身没有操作权限。这种方式更通用,但容易受弹窗、页面变化、加载延迟影响。 3. ADB/测试框架 开发和演示中常见:用户开启调试并授权连接,通过 ADB、UI Automator 等读取界面、点击、输入。通常不需要 root,但不是普通 App 安装后就自动拥有的能力。 实际运行是一个循环: 看当前页面 → 决定下一步 → 执行操作 → 再看页面确认结果。 不是预先算好一串坐标,然后盲点到底。 所以“没专门优化”不等于不能控制,而是权限配置、后台存活和操作稳定性更麻烦。锁屏、安全页面、验证码、支付确认等也不能假设都能自动处理。 另外,能操作屏幕不等于能持续获取所有 App 的后台信息——“替你点手机”和“长期了解你的生活”是两回事。Today 具体用了哪条路线,目前没有资料能确认。 官方参考: https://developer.android.com/guide/topics/ui/accessibility/service https://developer.android.com/training/testing/other-components/ui-automator