一句话就能让AI打开真实手机
跨应用查路线算时间播放音乐
最后自动提交测试报告
谷歌刚刚把这套系统开源
项目方还给出了99.1%的任务成功率
但先别急着把它理解成
安卓已经被AI彻底接管
因为那个数字背后还有一场关于
跑分代码来源和开源署名的争议
这套系统叫Artemis
它面对的是一台真实
Android手机或模拟器
网页和专门为AI准备
的演示界面都不够
开发者用自然语言描述任务
Athena观察屏幕
寻找控件
执行点击和输入
再根据界面变化决定下一步
一个典型任务可以这样写
打开Google Maps查询
三个地点的行车时间
把结果记录下来
再打开YouTube搜索Coldplay并播放歌曲
传统自动化需要工程师
逐个编写控件选择器
等待条件和异常处理
Artemis接到目标后
会自己拆解步骤
并在应用之间切换
这件事听上去只比
语音助手多了几次点击
底层难度却完全不同
语音助手通常调用预先接好的接口
能做什么早已写死
Automis面对的是不断变化的图形界面
按钮会移动
弹窗会突然出现
网络速度不稳定
应用更新以后控件名称也可能改变
传统移动测试因此很脆弱
一条脚本昨天还能运行
今天可能因为按钮换了位置就失败
测试工程师往往在维护
大量选择器和等待时间
业务逻辑反倒没有变化
产品功能没有变化
自动化脚本仍然要重写
Optimus尝试把这部分维护
工作交给多模态模型
它先读取Android的无障碍层级
获得界面中的文字
控件类型和可操作区域
能找到稳定元素时
它通过元素索引点击
界面结构不足时
再使用坐标OCR和视觉定位
这套组合很重要标准
Android应用通常会暴露清楚的控制树
AI可以知道哪个元素是按钮
哪个元素是输入框
flutter compose和CANVAS绘制的
界面可能只给出很少结构
游戏界面甚至完全没有可用控件
optimus遇到这种情况就
转向截图和视觉模型
纯视觉方案也有明显缺点
截图里的两个按钮可能长得很像
小图标不一定能准确识别
动画还会让坐标快速失效
Artemis没有把全部
希望放在视觉模型上
而是优先使用结构信息
视觉负责补位
这个选择降低了推理成本
也让操作更稳定
项目提供两套执行模式
Flash模式追求速度
采用观察一次
行动一次
再次观察的循环
readme给出的典型速度是每一步3-5秒
它不会先写一份庞大计划
也不会为每个动作生成长篇说明
适合目标清楚
流程较短的任务
打开设置并关闭蓝牙
Flash模式看到当前界面后
会直接寻找设置入口
如果已经位于快捷面板
它不必坚持原先设想的路径
反应式循环的好处是
灵活界面出现意外弹窗时
也能临时调整
速度的代价是缺少全局检查
任务变成长流程后
前面一个小错误可能一直带到最后
代理以为邮件已经发送
实际停在草稿页
他以为文件已经移动
实际只打开了目标文件夹
每一步看起来都合理
最终状态却不符合要求
Pro模式就是为这种任务准备的
他使用多代理图把职责
分给planner operator和Checker
planner维护一份持续
更新的任务计划operator
操作设备checker在关键
节点和结束时检查结果
一次测试超过100步也可以
保留阶段状态继续执行
planner并不只是把
任务写成编号列表
计划里会标出需要验证的里程碑
例如联系人是否真的创建
文件是否已经出现在目标目录
设置开关是否保持正确状态
界面发生变化后
计划也能调整
而不是机械重复最初路线
operator拿到计划后调用完整工具集
它可以读取屏幕结构
查看截图
分析录屏
调用ADB诊断
也可以搜索此前
压缩保存的操作历史
遇到失败时
系统会创建一条执行事件
把失败原因保留在后续上下文中
直到某次操作真正恢复
checker保持只读
不负责替operator点击
这样设计是为了避免执行者
一边操作一边宣布自己成功
checker根据任务目标检查最终状态
也可以在中间里程碑做验证
用户还能选择关闭验证
只做最终验证
检查所有节点
或者使用更严格的模式
每个动作执行前还有一道safety net
系统优先根据XML界面树确认目标
结构信息不足时再检查像素按钮
在模型思考期间已经消失
操作就会被阻止并交回operator
移动界面中的状态变化很快
这道检查可以减少点
到错误位置的情况
Artemis还支持连续动作突发
某些菜单只会短暂显示
如果每点一次都等待模型重新观察
菜单早已关闭
系统可以把几个确定动作连续发出
缩短模型往返延迟
这类工程处理很少
出现在产品宣传中
却直接决定代理
能不能在真实应用里工作
Flash模式每步大约3-5秒
Pro模式通常需要15-40秒
速度差距提醒了一个现实
可靠性不是免费的
规划检查历史检索
和故障恢复都会增加模型调用
短任务追求速度
长任务追求结果
两种场景很难用同一套配置解决
项目最值得关注的用途是软件测试
普通人远程控制手机还排在后面
开发者完成一项功能后
可以让Artemis在真机上复现问题
收集Logcat日志和截图
再把结果交回编程代理
过去分开的写代码跑手机看日志
开始被串成同一条工作流
这里的关键接口是MCP
Optimus自带MCP服务器
可以连接Antigravity Claude code
Windsurf等支持MCP的开发工具
编程代理不再只能阅读代码仓库
他还可以看到应用
实际运行后的界面
并操作设备验证自己的修改
设想一个常见场景
用户报告结账按钮点了没有反应
开发者只拿到一句模糊描述
接入Artemis后
编程代理可以安装测试版本
按照用户路径进入商品页
触发结账
截取错误界面
再读取Logcat中的异常
它修改代码后还能
重新执行同一流程
这会改变修复完成的定义
很多AI编程工具生成代码后
只能运行单元测试
单元测试通过
不代表手机界面真的可用
按钮可能被遮挡
权限弹窗可能阻断流程
键盘弹出后布局也可能错位
Artemis把验证推进到设备层
项目还提供CLI Python SDK
和本地网页控制台
CLI适合在终端直接发起任务
Python SDK可以接入pytest
和CI流程网页控制台
则显示手机画面
推理轨迹和执行过程
失败任务可以回放
测试人员不必只看一句执行失败
快速启动脚本会准备ADB
script ffpeg和Python依赖用户
可以连接开启USB
调试的实体Android设备
也可以使用模拟器
第一次运行时
系统会在设备上
安装Artemis accessibility helper
用它读取屏幕布局
这个辅助服务会出现在
Android的无障碍设置中
并显示一条运行通知
项目说明称
它只在手机本地监听
不会自行把数据发送到其他位置
如果辅助服务失效
系统还能回退到uiautomator
这里要分清本地
辅助服务和模型调用
前者可以本地通信
截图及界面信息是否离开
设备仍取决于模型供应商配置Athena
支持Gemini Claude GPT4O和千问VL等模型
它本身更接近一个代理框架
不是新的基础模型
实际表现会受到所选模型
网络设备性能和应用界面影响
换一个便宜模型
成本可能下降
定位和规划能力也可能变化
这也是99.1%跑分需要
谨慎理解的原因
项目宣称自己在Android world
达到99%以上任务完成率
图表给出的具体数字是99.1%
Android world是Google research
推出的公开环境
包含116项手工设计任务
覆盖20个应用
并通过随机参数生成大量变化
任务包括创建联系人
发送短信
添加日历事件
调整亮度开关Wifi
移动文件和处理播放列表
任务程序会检查设备最终状态
不接受模型自己宣布完成了
这比依靠文字答案评分更可靠
也更接近真实操作
99.1%依然不等于现实手机上的99.1%
Android world使用固定系统版本
预设应用和明确任务类型
真实手机有厂商定制界面
广告弹窗登录验证地区差异
和不断变化的第三方应用
测试集能衡量代理进步
无法覆盖开放世界的全部混乱
这项成绩目前也属于团队自曝
公开排行榜接受社区提交
并不会替每个项目
完整复现所有运行
Artemis仓库展示了对比图
却没有提供足够完整的第三方
审计材料来证明每一次任务如何
运行 99.1%可以称为公开的项目成绩
不能包装成已经独立认证的事实
基准测试还存在适配风险
团队知道全部116项任务后
可以针对常见应用和
失败模式优化提示词
恢复逻辑和工具
优化并不等于作弊
工程系统本来就该改进薄弱点
但一个系统在熟悉
测试集上接近满分
不代表面对从未见过
的应用也有同样表现
更敏感的问题来自项目的代码来源
Artemis公开后
minitab团队在Git Hub提出异议
称仓库包含其开源
项目mobileuse的代码
却没有在最初版本中清楚
保留来源和贡献者信息
minitype列出的证据很具体
早期PI project Tamo曾出现
Mobile use的版本号3.6.3
以及三位原作者姓名
后续提交替换了作者信息
其他大量文件保持不变
双方共享的内容涉及ADB隧道
规划辅助函数应用锁定
工具代理提示词和SDK示例
开源代码可以复用
但Apache2.0并不等于可以抹掉来源
许可证允许修改和商业使用
同时要求保留相应版权及许可说明
争议焦点不在Google
能不能使用这些代码
而在它是否完整履行了署名义务
以及发布过程为什么
先移除了原作者信息
当前仓库已经补充说明
明确写着项目包含
minitab开发的源代码
相关文件也增加了版权和来源标记
提出问题的Git Hub议题已经关闭
这解决了当前readme没有署名的问题
却无法抹去最初发布时发生过什么
这场争议让Artemis的
故事变得更有价值
大型公司开源项目时
外界往往默认代码已经
经过完善法务和来源审查
实际情况说明
即使仓库挂在Google组织名下
也需要查看提交记录
notice和文件头
品牌不能代替开源合规
跑分争议又让问题多了一层
Mini Tab表示自己的mobileuse
后来曾自测到更高层级
但公开榜单没有及时更新
Artemis的图表列出多个竞争项目
却没有清楚呈现双方最新可比结果
这里无法仅凭一方说法
判断榜单维护者的动机
但可以确认排行榜存在
更新和独立验证不足
这些问题不应被用来
否定Artemis的全部技术价值
仓库不是一个空壳
里面有完整的命令行工具
MCP服务器
设备驱动
网页控制台
测试目录和多代理流程
短时间获得大量关注
也说明开发者确实
需要更可靠的移动端
AI自动化
同样不能因为代码能
运行就忽略来源问题
技术能力和开源
合规是两条独立标准
一个项目可以有实用价值
同时在发布流程中犯下严重错误
把任何一边省略都会让判断失真
Artemis当前的成熟
边界也写在路线图里
Android studio原生插件仍未完成
ios扩展还在计划中
端侧轻量视觉模型和实时
双向语音控制也没有正式交付
现在可用的是Android设备自动化框架
不是覆盖所有移动平台的万能代理
ios迟早会成为重要方向
但难度不会只是把ADB
换成另一套命令
苹果系统对自动化后台
运行和权限控制更严格
实体设备与模拟器的行为也不同
项目路线图写了ios
不代表现有架构已经解决这些限制
端侧视觉模型同样值得关注
今天使用云端多模态模型
截图和界面信息
可能需要传到服务商
延迟和隐私都受影响
轻量模型如果能在手机
或开发机本地识别界面
可以减少数据外传
也能缩短每一步等待时间
代价是模型能力下降
复杂页面的识别可能不够稳定
Artemis要进入企业测试
还要解决权限和隔离
测试手机可能登录内部账号
包含未发布功能和真实业务数据
代理拥有ADB截图和日志读取能力
一旦配置错误
泄露范围会比普通测试脚本更大
企业需要限制模型端点
保存周期和可执行命令
提示词注入也是
移动代理绕不开的风险
应用页面可以显示
一段专门写给AI的文字
诱导它忽略测试目标
打开其他应用或泄露信息
人类测试员看到异常文字
会判断模型可能把它
当成高优先级指令
safety net能检查目标位置
未必能识别内容本身的恶意意图
持续集成环境还需要可复现性
同一个自然语言任务今天通过
明天失败
开发团队很难判断是代码
回归模型波动还是界面变化
Optimus必须记录模型版本提示
词截图动作轨迹和设备状态
才能让失败结果具有工程价值
成本也不能被99.1%的数字遮住
Pro模式每一步可能消耗15-40秒
还会调用规划视觉和检查模型
一次上百步的测试要
花多少时间和API费用
决定它能否替代传统自动化
高价值探索测试可以接受较高成本
大量重复回归测试未必划算
最合理的使用方式可能是混合测试
稳定高频的核心流程
继续使用传统脚本
速度快结果也容易复现
经常变化或难以维护
的界面交给Artemis探索
AI发现稳定路径后
还可以帮助生成更固定的测试用例
这样分工比AI取代所有
测试工程师更接近现实
测试人员需要定义风险准备
环境判断结果和处理异常
Artemis减少的是反复找按钮维护
选择器和手工复现的时间
并没有替团队决定什么功能最重要
也不能替公司承担发布责任
测试工程师的工作会随之变化
过去大量时间花在脚本维护
未来更多时间会用于设计任务
设置验证条件和分析失败轨迹
自然语言看似降低了门槛
准确描述目标反而更重要
含糊任务会让代理找到
一条看起来完成的路径
却漏掉真正的业务要求
开发流程也可能从提交代码后统一
测试变成编程代理边写边操作设备
它修改登录页面
立刻安装构建版本
走一遍登录和找回密码
再根据日志继续修改
设备不再是开发链
末端的人工检查站
而是AI编码循环的一部分
这会给小团队带来明显价值
没有专职移动测试工程师的团队
也能建立基本的真机回归流程
可规模扩大以后
设备农场账号管理和并发
调度仍然需要专业基础设施
optimus解决了操作智能
不会自动解决所有测试平台问题
设备管理是一项容易被忽略的成本
几十台手机同时测试
需要保持系统版本
屏幕分辨率和应用
数据处于可控状态
某项测试结束后还要清理
联系人短信文件和登录状态
否则下一次任务会
读取上一次留下的数据
Android world之所以能评测代理
正是因为它为任务
准备初始化和结束检查
企业自己的应用没有现成评测器
团队必须定义什么叫成功
页面出现提交完成
可能只是前端提示
后台订单未必真正创建
Optimus可以点击和观察
却需要业务系统提供
更可靠的验证信号
数据库记录接口状态和
设备画面要互相对照
才能减少假成功
自然语言任务也需要版本管理
测试人员把创建一个联系人改成
创建联系人并确认号码能够搜索到
验证范围已经变化
如果这段文字只存在聊天记录中
团队很难追踪回归标准
成熟用法需要把任务描述断言
和环境配置像代码一样保存
并进入评审流程
模型更新还会制造另一种波动
供应商更换默认模型后
同一句指令可能走不同路径
新模型更聪明
却也可能更愿意尝试危险动作
团队要锁定模型版本
建立基线
并在升级前重新运行关键任务
传统脚本的变化来自代码
代理测试的变化还来自模型
Optimus的历史压缩机制
就是为长任务控制上下文
它不会一直保留每张旧截图
而是把已经完成的
步骤压缩成可搜索记录
否则100步任务会迅速塞满模型窗口
费用和延迟一起上升
压缩能延长任务
代价是某些视觉细节
可能在摘要中丢失
历史检索因此不能只
依靠一句之前已经完成
系统需要保留关键证据
例如创建后的联系人页面
移动后的文件路径和操作返回值
摘要负责告诉代理发生过什么
原始证据负责在出现争议时复核
两者缺一项
长流程都会变得不可信
录屏分析提供了另一条诊断线
界面一闪而过
单张截图可能抓不到问题
录屏可以重建动画
弹窗和键盘出现的顺序
Optimus把fempy列为依赖
就是为了处理这类时序信息
移动端bug经常只存在几百毫秒
日志里也未必留下明确错误
不过录屏会扩大隐私范围
测试账号的通知联系人头像
和输入内容都可能进入文件
团队需要在采集前关闭无关通知
使用合成数据
并限制报告中的截图
代理自动收集越方便
数据治理越不能依靠
测试人员临时判断
权限边界还涉及ADB
ADB能够安装应用
读取日志
启动组件
并执行系统命令权限
远高于普通用户操作
Artemis如果连接生产手机
风险非常高
合理部署应使用专门
测试设备和隔离账号
CI中的密钥也不能直接暴露给模型
开源在这里提供了现实优势
企业可以检查每个工具
到底调用了什么命令
也能删掉不需要的高风险能力
闭源手机代理只给出服务界面
用户很难确认数据流向
Optimus把设备驱动和代理逻辑公开
至少让安全团队有
审计和改造的入口
开源也带来维护压力
仓库没有正式版本标签
当前项目迭代集中在很短时间内
依赖很多
既有LANGGRAPH和多家模型SDK
也有ADB UI Automator和图像处理组件
任何上游变化都可能影响安装
9,000多个星标代表关注度
不等于长期维护承诺
开发者在实际采用前
需要先跑自己的小型评测
选择10-20条最关键流程
分别记录成功率平均耗时
模型费用和人工干预次数
只看Android world
总分无法回答企业自己的登录
支付和权限页面能不能稳定运行
失败类型也应分开统计
模型找不到控件属于感知问题
计划走错属于推理问题
应用崩溃属于产品问题
网路超时则是环境问题
把所有失败压成一个百分比
团队不知道该修提示词换模型
还是修改应用本身
Atemis有时最有价值的结果是暴露
产品不利于自动化和无障碍访问
通过本身反倒没那么重要
一个按钮没有语义标签
模型只能猜坐标
视障用户的屏幕
阅读器也可能无法识别
代理测试会反过来推动
开发者补齐控件描述
最终改善真实用户体验
这让它与传统视觉测试形成区别
截图对比擅长发现
颜色位置和布局变化
而Temis更擅长判断任务能不能完成
前者告诉团队按钮移动了5个像素
后者告诉团队用户
已经无法完成退款
两类测试结合
覆盖面才完整
市场上也不只有Artemis
final run auto device droid run uitas
和多种computer use模型都
在争夺移动代理入口
他们选择不同模型和规划架构
公开程度也不同
99.1%的领先
如果不能被持续复现
很快就会被下一轮模型和工具改写
Google开源这套框架还有生态意义
Android开发者可以围绕它增加
设备驱动行业任务和验证插件
模型公司也能把它作为
计算机操作能力的试验场
一个共同框架如果形成移动代理
就不必每家公司都从
截图和点击重新造轮子
可共同框架必须建立可信治理
贡献代码需要清楚来源
排行榜需要公开测试条件
安全漏洞需要有响应流程
minitab争议已经说明
技术社区不仅看功能
也看维护者如何处理他人的劳动
Google后来补上署名是必要修正
公开解释仍然同样重要
Artemis未来若接入Android studio
开发者可以在IDE里选中一个界面
直接生成并运行设备任务
这个设想很有吸引力
但插件目前还在路线图
现阶段仍要通过命令行网页
控制台或MCP连接部署体验
更适合愿意处理
环境配置的技术团队
实时语音也尚未完成
即使以后上线
它的意义也不只是
说一句话控制手机
双向语音要求代理在
操作过程中报告进度
用户能够随时打断
并在敏感步骤确认
没有可靠中断机制
语音只会让错误操作更难阻止
长期来看
手机代理可能从测试
工具进入运维和客服
客服人员接到用户问题后
可以在隔离设备上复现相同路径
应用商店审核可以自动
探索权限和订阅流程
企业内部还能检查不同
版本是否出现行为变化
这些场景都需要
明确授权和受控环境
不能直接拿真实用户账户试验
最有争议的想象是让
代理自行发现漏洞
它能够遍历界面
输入异常内容
观察崩溃并读取日志
确实具备一定探索能力
公开项目的目标是测试和诊断
不等于授权代理攻击第三方应用
使用边界仍由操作者和
目标系统的许可决定
它对普通用户也有潜力
视障人士可以用自然
语言完成复杂应用操作
老人可以减少在
多层菜单中寻找按钮
重复性手机任务可以交给代理不过
项目当前的产品形态面向开发者
需要配置Python模型
密钥ADB和无障碍权限
距离大众助手还有明显距离
Artemis真正释放出的信号是AI
代理开始从浏览器走进设备
网页有DOM和相对统一的交互结构
手机应用更加封闭
一个开源框架能够
跨应用完成长流程
说明多模态模型工具调用和
状态管理已经组合到新的阶段
这个阶段仍然粗糙
速度按秒计算
复杂模式一步可能接近1分钟
权限配置不当会带来安全风险
基准成绩缺少完整独立验证
开源署名还发生过争议
它没有资格被包装成
成熟的手机操作系统
代理可它也不是一次
无关紧要的代码发布
Google把项目放在公开仓库
使用Apache 2.0许可证
开发者可以检查实现
替换模型
并接入自己的设备
开源让外界有机会复测99.1%
也让代码来源问题无法被藏起来
它同时接受技术检验和社区审查
接下来最值得观察的是三件事
GitHub星标能涨到多少并不关键
独立团队能否复现接近99.1%的结果
企业能否在真实应用
中稳定运行长流程
以及维护者能否持续
处理安全与署名问题
任何一项失败
Optimus都可能停留在演示阶段
如果三项都能过关
移动开发会发生一次实质变化
编程代理将不再只盯着代码和终端
他能拿起一台手机
用用户的方式检查自己的作品
测试脚本也不必把每个坐标写死
目标和验证条件会
成为新的核心资产
所以Artemis最重要的
地方不是AI会点手机了
真正的变化是
AI第一次有机会把理解需求修改
代码操作设备和验证结果连成闭环
99.1%只是吸引注意力的数字
能不能把这个闭环
稳定放进真实开发流程
才决定它会成为基础工具
还是另一个跑分漂亮的开源项目