0:00.166–0:02.866
zh一句话就能让AI打开真实手机
0:03.100–0:06.466
zh跨应用查路线算时间播放音乐
0:06.500–0:08.566
zh最后自动提交测试报告
0:08.766–0:10.733
zh谷歌刚刚把这套系统开源
0:11.133–0:15.533
zh项目方还给出了99.1%的任务成功率
0:15.933–0:17.800
zh但先别急着把它理解成
0:17.800–0:20.133
zh安卓已经被AI彻底接管
0:20.500–0:22.866
zh因为那个数字背后还有一场关于
0:22.866–0:26.500
zh跑分代码来源和开源署名的争议
0:26.600–0:28.266
zh这套系统叫Artemis
0:28.466–0:29.933
zh它面对的是一台真实
0:29.933–0:31.733
zhAndroid手机或模拟器
0:32.133–0:33.966
zh网页和专门为AI准备
0:33.966–0:35.600
zh的演示界面都不够
0:35.766–0:38.000
zh开发者用自然语言描述任务
0:38.300–0:39.800
zhAthena观察屏幕
0:39.900–0:40.866
zh寻找控件
0:41.000–0:42.600
zh执行点击和输入
0:42.733–0:45.133
zh再根据界面变化决定下一步
0:45.333–0:47.000
zh一个典型任务可以这样写
0:47.000–0:48.600
zh打开Google Maps查询
0:48.600–0:50.366
zh三个地点的行车时间
0:50.400–0:51.866
zh把结果记录下来
0:51.866–0:55.500
zh再打开YouTube搜索Coldplay并播放歌曲
0:55.733–0:57.700
zh传统自动化需要工程师
0:57.700–0:59.800
zh逐个编写控件选择器
1:00.300–1:02.200
zh等待条件和异常处理
1:02.366–1:04.066
zhArtemis接到目标后
1:04.066–1:05.466
zh会自己拆解步骤
1:05.533–1:07.200
zh并在应用之间切换
1:07.333–1:08.800
zh这件事听上去只比
1:08.800–1:10.800
zh语音助手多了几次点击
1:11.066–1:12.900
zh底层难度却完全不同
1:13.066–1:15.966
zh语音助手通常调用预先接好的接口
1:16.066–1:17.800
zh能做什么早已写死
1:18.366–1:21.866
zhAutomis面对的是不断变化的图形界面
1:22.066–1:23.300
zh按钮会移动
1:23.566–1:25.100
zh弹窗会突然出现
1:25.200–1:26.666
zh网络速度不稳定
1:26.800–1:30.100
zh应用更新以后控件名称也可能改变
1:30.266–1:32.466
zh传统移动测试因此很脆弱
1:33.000–1:35.100
zh一条脚本昨天还能运行
1:35.300–1:38.200
zh今天可能因为按钮换了位置就失败
1:38.566–1:40.533
zh测试工程师往往在维护
1:40.533–1:42.700
zh大量选择器和等待时间
1:42.933–1:44.900
zh业务逻辑反倒没有变化
1:45.166–1:46.766
zh产品功能没有变化
1:47.166–1:49.066
zh自动化脚本仍然要重写
1:49.166–1:51.200
zhOptimus尝试把这部分维护
1:51.200–1:53.133
zh工作交给多模态模型
1:53.466–1:55.900
zh它先读取Android的无障碍层级
1:56.200–1:57.900
zh获得界面中的文字
1:57.933–2:00.133
zh控件类型和可操作区域
2:00.466–2:02.100
zh能找到稳定元素时
2:02.100–2:03.966
zh它通过元素索引点击
2:04.400–2:05.966
zh界面结构不足时
2:06.066–2:09.500
zh再使用坐标OCR和视觉定位
2:09.533–2:11.700
zh这套组合很重要标准
2:11.800–2:15.133
zhAndroid应用通常会暴露清楚的控制树
2:15.200–2:17.566
zhAI可以知道哪个元素是按钮
2:17.766–2:19.400
zh哪个元素是输入框
2:20.066–2:22.733
zhflutter compose和CANVAS绘制的
2:22.733–2:24.766
zh界面可能只给出很少结构
2:24.900–2:27.466
zh游戏界面甚至完全没有可用控件
2:27.700–2:29.866
zhoptimus遇到这种情况就
2:29.866–2:32.133
zh转向截图和视觉模型
2:32.333–2:34.366
zh纯视觉方案也有明显缺点
2:34.800–2:37.266
zh截图里的两个按钮可能长得很像
2:37.400–2:39.766
zh小图标不一定能准确识别
2:39.966–2:42.266
zh动画还会让坐标快速失效
2:42.533–2:43.766
zhArtemis没有把全部
2:43.766–2:45.733
zh希望放在视觉模型上
2:45.800–2:47.933
zh而是优先使用结构信息
2:48.366–2:49.600
zh视觉负责补位
2:49.766–2:51.866
zh这个选择降低了推理成本
2:51.866–2:53.466
zh也让操作更稳定
2:53.666–2:55.766
zh项目提供两套执行模式
2:56.200–2:57.966
zhFlash模式追求速度
2:58.133–2:59.566
zh采用观察一次
2:59.666–3:00.733
zh行动一次
3:00.866–3:02.500
zh再次观察的循环
3:03.100–3:06.733
zhreadme给出的典型速度是每一步3-5秒
3:06.800–3:09.066
zh它不会先写一份庞大计划
3:09.066–3:11.933
zh也不会为每个动作生成长篇说明
3:12.066–3:13.400
zh适合目标清楚
3:13.666–3:15.133
zh流程较短的任务
3:15.300–3:17.200
zh打开设置并关闭蓝牙
3:17.700–3:19.733
zhFlash模式看到当前界面后
3:19.733–3:21.700
zh会直接寻找设置入口
3:22.166–3:24.066
zh如果已经位于快捷面板
3:24.066–3:26.400
zh它不必坚持原先设想的路径
3:26.733–3:28.700
zh反应式循环的好处是
3:28.866–3:31.500
zh灵活界面出现意外弹窗时
3:31.500–3:32.866
zh也能临时调整
3:33.133–3:35.500
zh速度的代价是缺少全局检查
3:35.766–3:37.566
zh任务变成长流程后
3:37.700–3:40.333
zh前面一个小错误可能一直带到最后
3:40.466–3:42.333
zh代理以为邮件已经发送
3:42.366–3:44.000
zh实际停在草稿页
3:44.300–3:46.066
zh他以为文件已经移动
3:46.100–3:48.200
zh实际只打开了目标文件夹
3:48.700–3:50.200
zh每一步看起来都合理
3:50.300–3:52.600
zh最终状态却不符合要求
3:52.900–3:55.166
zhPro模式就是为这种任务准备的
3:55.733–3:57.533
zh他使用多代理图把职责
3:57.533–3:59.966
zh分给planner operator和Checker
4:00.400–4:02.333
zhplanner维护一份持续
4:02.333–4:04.700
zh更新的任务计划operator
4:05.366–4:07.966
zh操作设备checker在关键
4:07.966–4:10.266
zh节点和结束时检查结果
4:10.300–4:12.566
zh一次测试超过100步也可以
4:12.566–4:14.733
zh保留阶段状态继续执行
4:14.966–4:16.533
zhplanner并不只是把
4:16.533–4:18.666
zh任务写成编号列表
4:19.200–4:22.066
zh计划里会标出需要验证的里程碑
4:22.900–4:25.100
zh例如联系人是否真的创建
4:25.533–4:28.366
zh文件是否已经出现在目标目录
4:28.900–4:31.533
zh设置开关是否保持正确状态
4:31.766–4:33.166
zh界面发生变化后
4:33.166–4:34.500
zh计划也能调整
4:34.766–4:36.966
zh而不是机械重复最初路线
4:37.200–4:40.166
zhoperator拿到计划后调用完整工具集
4:40.466–4:42.166
zh它可以读取屏幕结构
4:42.300–4:43.366
zh查看截图
4:43.466–4:44.533
zh分析录屏
4:44.666–4:46.133
zh调用ADB诊断
4:46.900–4:48.300
zh也可以搜索此前
4:48.300–4:50.066
zh压缩保存的操作历史
4:50.266–4:51.400
zh遇到失败时
4:51.400–4:53.666
zh系统会创建一条执行事件
4:54.000–4:56.933
zh把失败原因保留在后续上下文中
4:57.133–4:59.200
zh直到某次操作真正恢复
4:59.500–5:00.700
zhchecker保持只读
5:00.700–5:02.666
zh不负责替operator点击
5:02.800–5:04.900
zh这样设计是为了避免执行者
5:04.900–5:07.566
zh一边操作一边宣布自己成功
5:08.133–5:10.866
zhchecker根据任务目标检查最终状态
5:10.900–5:13.200
zh也可以在中间里程碑做验证
5:13.400–5:15.466
zh用户还能选择关闭验证
5:15.700–5:17.100
zh只做最终验证
5:17.400–5:18.733
zh检查所有节点
5:19.200–5:21.066
zh或者使用更严格的模式
5:21.133–5:23.900
zh每个动作执行前还有一道safety net
5:24.166–5:27.866
zh系统优先根据XML界面树确认目标
5:28.066–5:30.966
zh结构信息不足时再检查像素按钮
5:31.133–5:33.400
zh在模型思考期间已经消失
5:33.500–5:36.000
zh操作就会被阻止并交回operator
5:36.466–5:38.700
zh移动界面中的状态变化很快
5:38.800–5:40.466
zh这道检查可以减少点
5:40.466–5:41.933
zh到错误位置的情况
5:42.133–5:44.766
zhArtemis还支持连续动作突发
5:45.333–5:47.400
zh某些菜单只会短暂显示
5:47.600–5:50.600
zh如果每点一次都等待模型重新观察
5:50.766–5:52.000
zh菜单早已关闭
5:52.466–5:55.366
zh系统可以把几个确定动作连续发出
5:55.466–5:57.266
zh缩短模型往返延迟
5:57.400–5:59.000
zh这类工程处理很少
5:59.000–6:00.933
zh出现在产品宣传中
6:01.300–6:02.733
zh却直接决定代理
6:02.733–6:04.933
zh能不能在真实应用里工作
6:05.200–6:07.733
zhFlash模式每步大约3-5秒
6:07.866–6:10.400
zhPro模式通常需要15-40秒
6:10.533–6:12.700
zh速度差距提醒了一个现实
6:12.800–6:14.566
zh可靠性不是免费的
6:14.566–6:16.866
zh规划检查历史检索
6:17.133–6:19.966
zh和故障恢复都会增加模型调用
6:20.000–6:21.500
zh短任务追求速度
6:21.533–6:23.000
zh长任务追求结果
6:23.166–6:26.200
zh两种场景很难用同一套配置解决
6:26.333–6:29.533
zh项目最值得关注的用途是软件测试
6:30.200–6:33.100
zh普通人远程控制手机还排在后面
6:33.200–6:35.100
zh开发者完成一项功能后
6:35.100–6:37.933
zh可以让Artemis在真机上复现问题
6:38.100–6:40.300
zh收集Logcat日志和截图
6:40.366–6:42.466
zh再把结果交回编程代理
6:42.500–6:45.733
zh过去分开的写代码跑手机看日志
6:45.933–6:48.133
zh开始被串成同一条工作流
6:48.166–6:50.600
zh这里的关键接口是MCP
6:50.966–6:53.100
zhOptimus自带MCP服务器
6:53.100–6:55.700
zh可以连接Antigravity Claude code
6:55.966–6:58.766
zhWindsurf等支持MCP的开发工具
6:59.100–7:01.800
zh编程代理不再只能阅读代码仓库
7:02.300–7:03.500
zh他还可以看到应用
7:03.500–7:05.200
zh实际运行后的界面
7:05.300–7:07.900
zh并操作设备验证自己的修改
7:08.100–7:09.666
zh设想一个常见场景
7:09.800–7:12.600
zh用户报告结账按钮点了没有反应
7:12.800–7:14.933
zh开发者只拿到一句模糊描述
7:15.166–7:16.533
zh接入Artemis后
7:16.566–7:18.800
zh编程代理可以安装测试版本
7:19.166–7:21.266
zh按照用户路径进入商品页
7:21.333–7:22.200
zh触发结账
7:22.566–7:23.900
zh截取错误界面
7:23.966–7:25.866
zh再读取Logcat中的异常
7:26.000–7:27.666
zh它修改代码后还能
7:27.666–7:29.400
zh重新执行同一流程
7:29.533–7:31.766
zh这会改变修复完成的定义
7:32.000–7:34.800
zh很多AI编程工具生成代码后
7:34.933–7:36.700
zh只能运行单元测试
7:37.733–7:39.133
zh单元测试通过
7:39.266–7:41.533
zh不代表手机界面真的可用
7:41.733–7:43.100
zh按钮可能被遮挡
7:43.300–7:45.366
zh权限弹窗可能阻断流程
7:45.666–7:47.933
zh键盘弹出后布局也可能错位
7:48.200–7:50.966
zhArtemis把验证推进到设备层
7:51.300–7:54.200
zh项目还提供CLI Python SDK
7:54.300–7:56.066
zh和本地网页控制台
7:56.266–7:58.800
zhCLI适合在终端直接发起任务
7:59.000–8:01.133
zhPython SDK可以接入pytest
8:01.133–8:03.333
zh和CI流程网页控制台
8:03.333–8:04.766
zh则显示手机画面
8:04.766–8:06.600
zh推理轨迹和执行过程
8:06.766–8:08.366
zh失败任务可以回放
8:09.000–8:11.733
zh测试人员不必只看一句执行失败
8:11.966–8:14.366
zh快速启动脚本会准备ADB
8:14.700–8:18.100
zhscript ffpeg和Python依赖用户
8:18.466–8:20.166
zh可以连接开启USB
8:20.166–8:22.300
zh调试的实体Android设备
8:22.400–8:23.966
zh也可以使用模拟器
8:24.133–8:25.466
zh第一次运行时
8:25.533–8:26.966
zh系统会在设备上
8:26.966–8:29.600
zh安装Artemis accessibility helper
8:29.866–8:31.733
zh用它读取屏幕布局
8:31.933–8:33.733
zh这个辅助服务会出现在
8:33.733–8:35.666
zhAndroid的无障碍设置中
8:35.666–8:37.566
zh并显示一条运行通知
8:38.200–8:39.400
zh项目说明称
8:39.466–8:41.400
zh它只在手机本地监听
8:41.400–8:44.300
zh不会自行把数据发送到其他位置
8:44.366–8:46.000
zh如果辅助服务失效
8:46.066–8:48.333
zh系统还能回退到uiautomator
8:48.566–8:50.133
zh这里要分清本地
8:50.133–8:52.066
zh辅助服务和模型调用
8:52.533–8:54.000
zh前者可以本地通信
8:54.166–8:56.200
zh截图及界面信息是否离开
8:56.200–9:00.000
zh设备仍取决于模型供应商配置Athena
9:00.000–9:04.933
zh支持Gemini Claude GPT4O和千问VL等模型
9:05.733–9:08.266
zh它本身更接近一个代理框架
9:08.400–9:10.266
zh不是新的基础模型
9:10.400–9:12.666
zh实际表现会受到所选模型
9:12.800–9:15.800
zh网络设备性能和应用界面影响
9:15.933–9:17.333
zh换一个便宜模型
9:17.600–9:18.933
zh成本可能下降
9:19.366–9:21.466
zh定位和规划能力也可能变化
9:21.600–9:24.366
zh这也是99.1%跑分需要
9:24.366–9:25.700
zh谨慎理解的原因
9:25.933–9:28.300
zh项目宣称自己在Android world
9:28.466–9:31.366
zh达到99%以上任务完成率
9:31.500–9:35.166
zh图表给出的具体数字是99.1%
9:35.300–9:37.400
zhAndroid world是Google research
9:37.400–9:38.766
zh推出的公开环境
9:39.266–9:41.900
zh包含116项手工设计任务
9:42.366–9:43.766
zh覆盖20个应用
9:43.800–9:46.666
zh并通过随机参数生成大量变化
9:46.800–9:49.300
zh任务包括创建联系人
9:49.533–9:50.533
zh发送短信
9:50.600–9:51.966
zh添加日历事件
9:52.100–9:54.300
zh调整亮度开关Wifi
9:54.366–9:56.900
zh移动文件和处理播放列表
9:57.000–9:59.766
zh任务程序会检查设备最终状态
9:59.900–10:02.666
zh不接受模型自己宣布完成了
10:03.000–10:05.866
zh这比依靠文字答案评分更可靠
10:05.966–10:07.933
zh也更接近真实操作
10:08.100–10:12.766
zh99.1%依然不等于现实手机上的99.1%
10:13.000–10:15.400
zhAndroid world使用固定系统版本
10:15.466–10:17.700
zh预设应用和明确任务类型
10:18.333–10:20.800
zh真实手机有厂商定制界面
10:20.866–10:24.200
zh广告弹窗登录验证地区差异
10:24.200–10:26.366
zh和不断变化的第三方应用
10:26.533–10:28.566
zh测试集能衡量代理进步
10:28.800–10:31.366
zh无法覆盖开放世界的全部混乱
10:31.466–10:34.000
zh这项成绩目前也属于团队自曝
10:34.533–10:36.866
zh公开排行榜接受社区提交
10:37.000–10:38.500
zh并不会替每个项目
10:38.500–10:40.300
zh完整复现所有运行
10:40.566–10:42.933
zhArtemis仓库展示了对比图
10:43.066–10:45.366
zh却没有提供足够完整的第三方
10:45.366–10:48.133
zh审计材料来证明每一次任务如何
10:48.133–10:52.533
zh运行 99.1%可以称为公开的项目成绩
10:53.100–10:55.566
zh不能包装成已经独立认证的事实
10:55.900–10:58.066
zh基准测试还存在适配风险
10:58.600–11:01.400
zh团队知道全部116项任务后
11:01.400–11:03.100
zh可以针对常见应用和
11:03.100–11:05.000
zh失败模式优化提示词
11:05.200–11:06.733
zh恢复逻辑和工具
11:07.066–11:08.666
zh优化并不等于作弊
11:09.100–11:11.933
zh工程系统本来就该改进薄弱点
11:12.000–11:13.566
zh但一个系统在熟悉
11:13.566–11:15.466
zh测试集上接近满分
11:15.533–11:17.333
zh不代表面对从未见过
11:17.333–11:19.166
zh的应用也有同样表现
11:19.266–11:21.900
zh更敏感的问题来自项目的代码来源
11:22.600–11:23.966
zhArtemis公开后
11:24.100–11:26.500
zhminitab团队在Git Hub提出异议
11:26.700–11:28.466
zh称仓库包含其开源
11:28.466–11:30.200
zh项目mobileuse的代码
11:30.266–11:32.166
zh却没有在最初版本中清楚
11:32.166–11:34.133
zh保留来源和贡献者信息
11:34.500–11:36.500
zhminitype列出的证据很具体
11:36.666–11:39.366
zh早期PI project Tamo曾出现
11:39.366–11:42.066
zhMobile use的版本号3.6.3
11:42.133–11:44.066
zh以及三位原作者姓名
11:44.500–11:46.666
zh后续提交替换了作者信息
11:46.966–11:49.066
zh其他大量文件保持不变
11:49.133–11:51.900
zh双方共享的内容涉及ADB隧道
11:51.933–11:54.366
zh规划辅助函数应用锁定
11:54.366–11:57.533
zh工具代理提示词和SDK示例
11:57.700–11:59.500
zh开源代码可以复用
11:59.500–12:02.933
zh但Apache2.0并不等于可以抹掉来源
12:03.333–12:06.000
zh许可证允许修改和商业使用
12:06.066–12:09.266
zh同时要求保留相应版权及许可说明
12:09.400–12:10.866
zh争议焦点不在Google
12:10.866–12:12.400
zh能不能使用这些代码
12:12.566–12:15.466
zh而在它是否完整履行了署名义务
12:15.666–12:17.366
zh以及发布过程为什么
12:17.366–12:19.366
zh先移除了原作者信息
12:19.600–12:21.800
zh当前仓库已经补充说明
12:22.266–12:23.866
zh明确写着项目包含
12:23.866–12:25.733
zhminitab开发的源代码
12:25.966–12:28.966
zh相关文件也增加了版权和来源标记
12:29.500–12:32.100
zh提出问题的Git Hub议题已经关闭
12:32.266–12:35.700
zh这解决了当前readme没有署名的问题
12:35.866–12:39.066
zh却无法抹去最初发布时发生过什么
12:39.066–12:41.066
zh这场争议让Artemis的
12:41.066–12:42.600
zh故事变得更有价值
12:42.866–12:44.866
zh大型公司开源项目时
12:44.933–12:46.900
zh外界往往默认代码已经
12:46.900–12:49.100
zh经过完善法务和来源审查
12:49.500–12:50.766
zh实际情况说明
12:50.800–12:53.366
zh即使仓库挂在Google组织名下
12:53.366–12:55.300
zh也需要查看提交记录
12:55.533–12:57.133
zhnotice和文件头
12:57.333–12:59.300
zh品牌不能代替开源合规
12:59.466–13:01.933
zh跑分争议又让问题多了一层
13:02.666–13:04.600
zhMini Tab表示自己的mobileuse
13:04.600–13:06.733
zh后来曾自测到更高层级
13:07.000–13:09.366
zh但公开榜单没有及时更新
13:09.533–13:12.333
zhArtemis的图表列出多个竞争项目
13:12.500–13:15.533
zh却没有清楚呈现双方最新可比结果
13:15.800–13:17.400
zh这里无法仅凭一方说法
13:17.400–13:19.366
zh判断榜单维护者的动机
13:19.533–13:21.300
zh但可以确认排行榜存在
13:21.300–13:23.200
zh更新和独立验证不足
13:23.300–13:24.966
zh这些问题不应被用来
13:24.966–13:27.666
zh否定Artemis的全部技术价值
13:28.500–13:29.866
zh仓库不是一个空壳
13:30.166–13:32.200
zh里面有完整的命令行工具
13:32.866–13:33.933
zhMCP服务器
13:34.200–13:35.266
zh设备驱动
13:35.400–13:36.600
zh网页控制台
13:36.966–13:38.933
zh测试目录和多代理流程
13:39.100–13:40.900
zh短时间获得大量关注
13:40.933–13:42.366
zh也说明开发者确实
13:42.366–13:44.133
zh需要更可靠的移动端
13:44.333–13:45.500
zhAI自动化
13:45.500–13:47.000
zh同样不能因为代码能
13:47.000–13:48.966
zh运行就忽略来源问题
13:49.133–13:50.366
zh技术能力和开源
13:50.366–13:52.200
zh合规是两条独立标准
13:52.500–13:54.266
zh一个项目可以有实用价值
13:54.300–13:57.333
zh同时在发布流程中犯下严重错误
13:57.500–14:00.666
zh把任何一边省略都会让判断失真
14:00.866–14:02.333
zhArtemis当前的成熟
14:02.333–14:04.300
zh边界也写在路线图里
14:04.900–14:07.533
zhAndroid studio原生插件仍未完成
14:07.800–14:09.933
zhios扩展还在计划中
14:10.166–14:12.400
zh端侧轻量视觉模型和实时
14:12.400–14:14.900
zh双向语音控制也没有正式交付
14:15.166–14:18.300
zh现在可用的是Android设备自动化框架
14:18.566–14:21.466
zh不是覆盖所有移动平台的万能代理
14:22.133–14:24.500
zhios迟早会成为重要方向
14:24.566–14:26.666
zh但难度不会只是把ADB
14:26.666–14:27.933
zh换成另一套命令
14:28.166–14:30.466
zh苹果系统对自动化后台
14:30.466–14:32.666
zh运行和权限控制更严格
14:32.866–14:35.600
zh实体设备与模拟器的行为也不同
14:36.400–14:38.366
zh项目路线图写了ios
14:38.500–14:41.366
zh不代表现有架构已经解决这些限制
14:41.666–14:44.200
zh端侧视觉模型同样值得关注
14:44.533–14:46.766
zh今天使用云端多模态模型
14:47.066–14:48.400
zh截图和界面信息
14:48.400–14:50.100
zh可能需要传到服务商
14:50.400–14:52.300
zh延迟和隐私都受影响
14:52.500–14:54.466
zh轻量模型如果能在手机
14:54.466–14:56.800
zh或开发机本地识别界面
14:56.866–14:58.666
zh可以减少数据外传
14:58.733–15:01.066
zh也能缩短每一步等待时间
15:01.500–15:03.333
zh代价是模型能力下降
15:03.566–15:06.100
zh复杂页面的识别可能不够稳定
15:06.200–15:08.400
zhArtemis要进入企业测试
15:08.600–15:10.733
zh还要解决权限和隔离
15:11.133–15:13.766
zh测试手机可能登录内部账号
15:13.933–15:17.266
zh包含未发布功能和真实业务数据
15:17.500–15:21.300
zh代理拥有ADB截图和日志读取能力
15:21.900–15:23.333
zh一旦配置错误
15:23.733–15:26.600
zh泄露范围会比普通测试脚本更大
15:26.733–15:29.000
zh企业需要限制模型端点
15:29.000–15:31.133
zh保存周期和可执行命令
15:31.466–15:32.566
zh提示词注入也是
15:32.566–15:34.300
zh移动代理绕不开的风险
15:34.700–15:35.933
zh应用页面可以显示
15:35.933–15:38.133
zh一段专门写给AI的文字
15:38.333–15:40.166
zh诱导它忽略测试目标
15:40.266–15:42.533
zh打开其他应用或泄露信息
15:42.933–15:44.933
zh人类测试员看到异常文字
15:44.966–15:46.766
zh会判断模型可能把它
15:46.766–15:48.400
zh当成高优先级指令
15:48.700–15:50.933
zhsafety net能检查目标位置
15:51.100–15:53.866
zh未必能识别内容本身的恶意意图
15:54.000–15:56.733
zh持续集成环境还需要可复现性
15:56.933–15:59.466
zh同一个自然语言任务今天通过
15:59.466–16:00.466
zh明天失败
16:01.066–16:03.133
zh开发团队很难判断是代码
16:03.133–16:06.166
zh回归模型波动还是界面变化
16:06.366–16:09.266
zhOptimus必须记录模型版本提示
16:09.266–16:12.766
zh词截图动作轨迹和设备状态
16:12.933–16:15.666
zh才能让失败结果具有工程价值
16:16.000–16:19.500
zh成本也不能被99.1%的数字遮住
16:19.866–16:22.700
zhPro模式每一步可能消耗15-40秒
16:22.866–16:25.933
zh还会调用规划视觉和检查模型
16:26.000–16:27.766
zh一次上百步的测试要
16:27.766–16:29.933
zh花多少时间和API费用
16:30.100–16:32.566
zh决定它能否替代传统自动化
16:32.700–16:35.700
zh高价值探索测试可以接受较高成本
16:35.700–16:38.866
zh大量重复回归测试未必划算
16:39.366–16:42.100
zh最合理的使用方式可能是混合测试
16:42.500–16:44.400
zh稳定高频的核心流程
16:44.400–16:46.333
zh继续使用传统脚本
16:46.466–16:48.900
zh速度快结果也容易复现
16:49.100–16:50.866
zh经常变化或难以维护
16:50.866–16:53.133
zh的界面交给Artemis探索
16:53.533–16:55.366
zhAI发现稳定路径后
16:55.366–16:58.500
zh还可以帮助生成更固定的测试用例
16:58.566–17:01.000
zh这样分工比AI取代所有
17:01.000–17:03.133
zh测试工程师更接近现实
17:03.333–17:05.700
zh测试人员需要定义风险准备
17:05.700–17:08.333
zh环境判断结果和处理异常
17:08.733–17:11.933
zhArtemis减少的是反复找按钮维护
17:11.933–17:14.366
zh选择器和手工复现的时间
17:14.666–17:17.566
zh并没有替团队决定什么功能最重要
17:17.700–17:20.300
zh也不能替公司承担发布责任
17:20.666–17:23.300
zh测试工程师的工作会随之变化
17:23.466–17:26.200
zh过去大量时间花在脚本维护
17:26.466–17:29.200
zh未来更多时间会用于设计任务
17:29.300–17:32.566
zh设置验证条件和分析失败轨迹
17:32.800–17:34.800
zh自然语言看似降低了门槛
17:34.933–17:37.266
zh准确描述目标反而更重要
17:37.566–17:39.600
zh含糊任务会让代理找到
17:39.600–17:41.500
zh一条看起来完成的路径
17:41.766–17:43.800
zh却漏掉真正的业务要求
17:43.966–17:46.700
zh开发流程也可能从提交代码后统一
17:46.700–17:49.900
zh测试变成编程代理边写边操作设备
17:50.133–17:51.666
zh它修改登录页面
17:51.966–17:53.566
zh立刻安装构建版本
17:53.566–17:55.666
zh走一遍登录和找回密码
17:55.666–17:57.466
zh再根据日志继续修改
17:57.666–17:59.200
zh设备不再是开发链
17:59.200–18:00.966
zh末端的人工检查站
18:01.200–18:03.866
zh而是AI编码循环的一部分
18:03.966–18:06.366
zh这会给小团队带来明显价值
18:06.800–18:09.133
zh没有专职移动测试工程师的团队
18:09.366–18:11.800
zh也能建立基本的真机回归流程
18:11.866–18:13.466
zh可规模扩大以后
18:13.600–18:16.333
zh设备农场账号管理和并发
18:16.333–18:18.966
zh调度仍然需要专业基础设施
18:19.266–18:21.500
zhoptimus解决了操作智能
18:21.733–18:24.666
zh不会自动解决所有测试平台问题
18:25.000–18:27.700
zh设备管理是一项容易被忽略的成本
18:27.900–18:29.666
zh几十台手机同时测试
18:29.900–18:31.600
zh需要保持系统版本
18:32.066–18:33.500
zh屏幕分辨率和应用
18:33.500–18:35.133
zh数据处于可控状态
18:35.300–18:37.533
zh某项测试结束后还要清理
18:37.533–18:40.866
zh联系人短信文件和登录状态
18:41.133–18:42.700
zh否则下一次任务会
18:42.700–18:44.600
zh读取上一次留下的数据
18:44.766–18:47.000
zhAndroid world之所以能评测代理
18:47.333–18:48.733
zh正是因为它为任务
18:48.733–18:51.100
zh准备初始化和结束检查
18:51.300–18:53.966
zh企业自己的应用没有现成评测器
18:54.200–18:56.333
zh团队必须定义什么叫成功
18:56.566–18:57.933
zh页面出现提交完成
18:57.933–18:59.500
zh可能只是前端提示
18:59.733–19:01.900
zh后台订单未必真正创建
19:02.066–19:04.133
zhOptimus可以点击和观察
19:04.666–19:06.200
zh却需要业务系统提供
19:06.200–19:07.933
zh更可靠的验证信号
19:08.100–19:10.400
zh数据库记录接口状态和
19:10.400–19:12.333
zh设备画面要互相对照
19:12.533–19:14.166
zh才能减少假成功
19:14.400–19:16.933
zh自然语言任务也需要版本管理
19:17.266–19:19.900
zh测试人员把创建一个联系人改成
19:19.900–19:22.866
zh创建联系人并确认号码能够搜索到
19:23.000–19:24.600
zh验证范围已经变化
19:25.000–19:27.566
zh如果这段文字只存在聊天记录中
19:27.666–19:29.966
zh团队很难追踪回归标准
19:30.200–19:33.000
zh成熟用法需要把任务描述断言
19:33.000–19:35.900
zh和环境配置像代码一样保存
19:35.933–19:37.533
zh并进入评审流程
19:37.733–19:40.133
zh模型更新还会制造另一种波动
19:40.766–19:42.666
zh供应商更换默认模型后
19:42.666–19:44.866
zh同一句指令可能走不同路径
19:45.133–19:46.600
zh新模型更聪明
19:46.600–19:49.266
zh却也可能更愿意尝试危险动作
19:49.466–19:51.333
zh团队要锁定模型版本
19:51.400–19:52.400
zh建立基线
19:52.500–19:55.366
zh并在升级前重新运行关键任务
19:55.533–19:57.533
zh传统脚本的变化来自代码
19:57.966–20:00.166
zh代理测试的变化还来自模型
20:00.366–20:02.266
zhOptimus的历史压缩机制
20:02.266–20:04.733
zh就是为长任务控制上下文
20:04.866–20:07.133
zh它不会一直保留每张旧截图
20:07.333–20:08.733
zh而是把已经完成的
20:08.733–20:11.000
zh步骤压缩成可搜索记录
20:11.100–20:14.566
zh否则100步任务会迅速塞满模型窗口
20:14.700–20:16.733
zh费用和延迟一起上升
20:16.933–20:18.400
zh压缩能延长任务
20:18.700–20:20.466
zh代价是某些视觉细节
20:20.466–20:22.100
zh可能在摘要中丢失
20:22.333–20:24.266
zh历史检索因此不能只
20:24.266–20:26.533
zh依靠一句之前已经完成
20:27.300–20:29.166
zh系统需要保留关键证据
20:29.500–20:31.566
zh例如创建后的联系人页面
20:31.900–20:34.566
zh移动后的文件路径和操作返回值
20:35.066–20:37.366
zh摘要负责告诉代理发生过什么
20:37.466–20:40.333
zh原始证据负责在出现争议时复核
20:40.766–20:42.066
zh两者缺一项
20:42.333–20:44.333
zh长流程都会变得不可信
20:44.566–20:47.133
zh录屏分析提供了另一条诊断线
20:47.566–20:48.800
zh界面一闪而过
20:48.800–20:51.066
zh单张截图可能抓不到问题
20:51.333–20:53.066
zh录屏可以重建动画
20:53.133–20:55.333
zh弹窗和键盘出现的顺序
20:55.566–20:58.066
zhOptimus把fempy列为依赖
20:58.300–21:00.533
zh就是为了处理这类时序信息
21:00.733–21:03.400
zh移动端bug经常只存在几百毫秒
21:03.800–21:06.100
zh日志里也未必留下明确错误
21:06.200–21:08.933
zh不过录屏会扩大隐私范围
21:09.466–21:12.200
zh测试账号的通知联系人头像
21:12.200–21:14.700
zh和输入内容都可能进入文件
21:15.333–21:18.000
zh团队需要在采集前关闭无关通知
21:18.266–21:19.600
zh使用合成数据
21:19.600–21:21.566
zh并限制报告中的截图
21:21.733–21:23.666
zh代理自动收集越方便
21:23.866–21:25.600
zh数据治理越不能依靠
21:25.600–21:27.366
zh测试人员临时判断
21:27.566–21:29.533
zh权限边界还涉及ADB
21:29.800–21:31.300
zhADB能够安装应用
21:31.300–21:32.166
zh读取日志
21:32.333–21:33.133
zh启动组件
21:33.133–21:35.000
zh并执行系统命令权限
21:35.466–21:37.166
zh远高于普通用户操作
21:37.333–21:39.600
zhArtemis如果连接生产手机
21:39.600–21:40.800
zh风险非常高
21:40.966–21:42.933
zh合理部署应使用专门
21:42.933–21:45.133
zh测试设备和隔离账号
21:45.166–21:48.533
zhCI中的密钥也不能直接暴露给模型
21:48.900–21:51.000
zh开源在这里提供了现实优势
21:51.266–21:52.966
zh企业可以检查每个工具
21:52.966–21:54.666
zh到底调用了什么命令
21:54.800–21:57.400
zh也能删掉不需要的高风险能力
21:57.600–22:00.500
zh闭源手机代理只给出服务界面
22:00.600–22:02.866
zh用户很难确认数据流向
22:03.166–22:06.500
zhOptimus把设备驱动和代理逻辑公开
22:06.800–22:08.466
zh至少让安全团队有
22:08.466–22:10.300
zh审计和改造的入口
22:10.366–22:12.466
zh开源也带来维护压力
22:12.900–22:14.866
zh仓库没有正式版本标签
22:15.166–22:18.133
zh当前项目迭代集中在很短时间内
22:18.700–22:19.733
zh依赖很多
22:19.933–22:23.100
zh既有LANGGRAPH和多家模型SDK
22:23.200–22:27.100
zh也有ADB UI Automator和图像处理组件
22:27.533–22:29.933
zh任何上游变化都可能影响安装
22:30.133–22:32.300
zh9,000多个星标代表关注度
22:32.400–22:34.366
zh不等于长期维护承诺
22:34.533–22:36.466
zh开发者在实际采用前
22:36.566–22:38.700
zh需要先跑自己的小型评测
22:39.366–22:41.800
zh选择10-20条最关键流程
22:42.300–22:45.466
zh分别记录成功率平均耗时
22:45.666–22:47.900
zh模型费用和人工干预次数
22:48.000–22:49.200
zh只看Android world
22:49.766–22:52.100
zh总分无法回答企业自己的登录
22:52.100–22:54.800
zh支付和权限页面能不能稳定运行
22:54.966–22:57.066
zh失败类型也应分开统计
22:57.866–23:00.466
zh模型找不到控件属于感知问题
23:00.766–23:02.933
zh计划走错属于推理问题
23:03.566–23:05.800
zh应用崩溃属于产品问题
23:06.266–23:08.366
zh网路超时则是环境问题
23:08.466–23:10.566
zh把所有失败压成一个百分比
23:10.800–23:13.800
zh团队不知道该修提示词换模型
23:13.933–23:15.600
zh还是修改应用本身
23:15.733–23:19.333
zhAtemis有时最有价值的结果是暴露
23:19.333–23:22.066
zh产品不利于自动化和无障碍访问
23:22.700–23:24.866
zh通过本身反倒没那么重要
23:24.933–23:26.700
zh一个按钮没有语义标签
23:26.966–23:28.533
zh模型只能猜坐标
23:29.100–23:30.166
zh视障用户的屏幕
23:30.166–23:31.900
zh阅读器也可能无法识别
23:32.000–23:33.766
zh代理测试会反过来推动
23:33.766–23:35.900
zh开发者补齐控件描述
23:36.133–23:38.466
zh最终改善真实用户体验
23:38.500–23:41.200
zh这让它与传统视觉测试形成区别
23:42.000–23:43.533
zh截图对比擅长发现
23:43.533–23:45.900
zh颜色位置和布局变化
23:46.333–23:49.333
zh而Temis更擅长判断任务能不能完成
23:49.666–23:52.366
zh前者告诉团队按钮移动了5个像素
23:52.500–23:53.933
zh后者告诉团队用户
23:53.933–23:55.600
zh已经无法完成退款
23:55.766–23:57.266
zh两类测试结合
23:57.366–23:58.733
zh覆盖面才完整
23:58.933–24:00.766
zh市场上也不只有Artemis
24:00.766–24:04.733
enfinal run auto device droid run uitas
24:05.000–24:06.966
zh和多种computer use模型都
24:06.966–24:08.800
zh在争夺移动代理入口
24:08.866–24:11.400
zh他们选择不同模型和规划架构
24:11.500–24:12.966
zh公开程度也不同
24:13.133–24:15.300
zh99.1%的领先
24:15.400–24:17.100
zh如果不能被持续复现
24:17.200–24:20.300
zh很快就会被下一轮模型和工具改写
24:20.466–24:23.100
zhGoogle开源这套框架还有生态意义
24:23.500–24:25.466
zhAndroid开发者可以围绕它增加
24:25.466–24:28.533
zh设备驱动行业任务和验证插件
24:28.800–24:30.500
zh模型公司也能把它作为
24:30.500–24:32.600
zh计算机操作能力的试验场
24:32.600–24:35.500
zh一个共同框架如果形成移动代理
24:35.566–24:37.300
zh就不必每家公司都从
24:37.300–24:39.366
zh截图和点击重新造轮子
24:39.366–24:42.166
zh可共同框架必须建立可信治理
24:42.600–24:44.600
zh贡献代码需要清楚来源
24:44.866–24:47.166
zh排行榜需要公开测试条件
24:47.333–24:49.666
zh安全漏洞需要有响应流程
24:49.800–24:51.566
zhminitab争议已经说明
24:51.700–24:53.566
zh技术社区不仅看功能
24:53.566–24:56.400
zh也看维护者如何处理他人的劳动
24:56.466–24:58.866
zhGoogle后来补上署名是必要修正
24:58.966–25:01.000
zh公开解释仍然同样重要
25:01.533–25:04.333
zhArtemis未来若接入Android studio
25:04.666–25:07.266
zh开发者可以在IDE里选中一个界面
25:07.366–25:09.566
zh直接生成并运行设备任务
25:10.100–25:11.766
zh这个设想很有吸引力
25:11.766–25:13.800
zh但插件目前还在路线图
25:13.866–25:16.666
zh现阶段仍要通过命令行网页
25:16.666–25:19.266
zh控制台或MCP连接部署体验
25:19.466–25:20.900
zh更适合愿意处理
25:20.900–25:22.666
zh环境配置的技术团队
25:22.900–25:25.000
zh实时语音也尚未完成
25:25.400–25:26.566
zh即使以后上线
25:26.800–25:28.100
zh它的意义也不只是
25:28.100–25:29.933
zh说一句话控制手机
25:30.566–25:32.533
zh双向语音要求代理在
25:32.533–25:34.500
zh操作过程中报告进度
25:35.333–25:37.100
zh用户能够随时打断
25:37.200–25:39.100
zh并在敏感步骤确认
25:39.166–25:40.800
zh没有可靠中断机制
25:41.466–25:44.066
zh语音只会让错误操作更难阻止
25:44.266–25:45.333
zh长期来看
25:45.500–25:47.366
zh手机代理可能从测试
25:47.366–25:49.333
zh工具进入运维和客服
25:49.766–25:51.800
zh客服人员接到用户问题后
25:51.800–25:54.500
zh可以在隔离设备上复现相同路径
25:54.800–25:57.100
zh应用商店审核可以自动
25:57.100–25:59.000
zh探索权限和订阅流程
25:59.366–26:01.166
zh企业内部还能检查不同
26:01.166–26:03.300
zh版本是否出现行为变化
26:03.600–26:04.700
zh这些场景都需要
26:04.700–26:06.666
zh明确授权和受控环境
26:06.900–26:09.366
zh不能直接拿真实用户账户试验
26:09.533–26:11.200
zh最有争议的想象是让
26:11.200–26:13.066
zh代理自行发现漏洞
26:13.266–26:14.666
zh它能够遍历界面
26:14.666–26:15.933
zh输入异常内容
26:15.933–26:17.966
zh观察崩溃并读取日志
26:18.166–26:20.166
zh确实具备一定探索能力
26:20.366–26:23.266
zh公开项目的目标是测试和诊断
26:23.866–26:26.600
zh不等于授权代理攻击第三方应用
26:26.766–26:28.666
zh使用边界仍由操作者和
26:28.666–26:30.333
zh目标系统的许可决定
26:30.500–26:32.200
zh它对普通用户也有潜力
26:32.566–26:34.066
zh视障人士可以用自然
26:34.066–26:36.133
zh语言完成复杂应用操作
26:36.400–26:37.666
zh老人可以减少在
26:37.666–26:39.533
zh多层菜单中寻找按钮
26:39.933–26:42.966
zh重复性手机任务可以交给代理不过
26:43.200–26:46.066
zh项目当前的产品形态面向开发者
26:46.166–26:48.300
zh需要配置Python模型
26:48.333–26:51.100
zh密钥ADB和无障碍权限
26:51.266–26:53.533
zh距离大众助手还有明显距离
26:53.733–26:56.733
zhArtemis真正释放出的信号是AI
26:56.733–26:59.100
zh代理开始从浏览器走进设备
26:59.566–27:02.733
zh网页有DOM和相对统一的交互结构
27:02.866–27:04.566
zh手机应用更加封闭
27:04.700–27:06.000
zh一个开源框架能够
27:06.000–27:07.733
zh跨应用完成长流程
27:07.900–27:10.500
zh说明多模态模型工具调用和
27:10.500–27:12.933
zh状态管理已经组合到新的阶段
27:13.400–27:14.966
zh这个阶段仍然粗糙
27:15.333–27:16.766
zh速度按秒计算
27:16.866–27:19.300
zh复杂模式一步可能接近1分钟
27:19.533–27:22.400
zh权限配置不当会带来安全风险
27:22.700–27:25.066
zh基准成绩缺少完整独立验证
27:25.200–27:27.100
zh开源署名还发生过争议
27:27.600–27:29.300
zh它没有资格被包装成
27:29.300–27:30.966
zh成熟的手机操作系统
27:30.966–27:32.733
zh代理可它也不是一次
27:32.733–27:34.566
zh无关紧要的代码发布
27:35.000–27:37.066
zhGoogle把项目放在公开仓库
27:37.266–27:39.400
zh使用Apache 2.0许可证
27:39.600–27:41.366
zh开发者可以检查实现
27:41.500–27:42.300
zh替换模型
27:42.300–27:43.866
zh并接入自己的设备
27:44.166–27:47.300
zh开源让外界有机会复测99.1%
27:47.333–27:50.200
zh也让代码来源问题无法被藏起来
27:50.400–27:53.366
zh它同时接受技术检验和社区审查
27:53.566–27:55.866
zh接下来最值得观察的是三件事
27:56.066–27:58.766
zhGitHub星标能涨到多少并不关键
27:59.200–28:03.300
zh独立团队能否复现接近99.1%的结果
28:03.666–28:05.400
zh企业能否在真实应用
28:05.400–28:07.300
zh中稳定运行长流程
28:07.600–28:09.500
zh以及维护者能否持续
28:09.500–28:11.666
zh处理安全与署名问题
28:11.866–28:13.000
zh任何一项失败
28:13.166–28:15.466
zhOptimus都可能停留在演示阶段
28:15.700–28:17.333
zh如果三项都能过关
28:17.366–28:19.900
zh移动开发会发生一次实质变化
28:20.200–28:23.100
zh编程代理将不再只盯着代码和终端
28:23.533–28:24.966
zh他能拿起一台手机
28:24.966–28:27.566
zh用用户的方式检查自己的作品
28:27.700–28:30.666
zh测试脚本也不必把每个坐标写死
28:30.866–28:32.533
zh目标和验证条件会
28:32.533–28:34.133
zh成为新的核心资产
28:34.133–28:35.933
zh所以Artemis最重要的
28:35.933–28:37.766
zh地方不是AI会点手机了
28:38.100–28:39.366
zh真正的变化是
28:39.400–28:42.366
zhAI第一次有机会把理解需求修改
28:42.366–28:45.500
zh代码操作设备和验证结果连成闭环
28:45.700–28:49.000
zh99.1%只是吸引注意力的数字
28:49.533–28:50.800
zh能不能把这个闭环
28:50.866–28:53.133
zh稳定放进真实开发流程
28:53.266–28:55.500
zh才决定它会成为基础工具
28:55.600–28:58.000
zh还是另一个跑分漂亮的开源项目
0:00.166–0:02.866
一句话就能让AI打开真实手机
0:03.100–0:06.466
跨应用查路线算时间播放音乐
0:06.500–0:08.566
最后自动提交测试报告
0:08.766–0:10.733
谷歌刚刚把这套系统开源
0:11.133–0:15.533
项目方还给出了99.1%的任务成功率
0:15.933–0:17.800
但先别急着把它理解成
0:17.800–0:20.133
安卓已经被AI彻底接管
0:20.500–0:22.866
因为那个数字背后还有一场关于
0:22.866–0:26.500
跑分代码来源和开源署名的争议
0:26.600–0:28.266
这套系统叫Artemis
0:28.466–0:29.933
它面对的是一台真实
0:29.933–0:31.733
Android手机或模拟器
0:32.133–0:33.966
网页和专门为AI准备
0:33.966–0:35.600
的演示界面都不够
0:35.766–0:38.000
开发者用自然语言描述任务
0:38.300–0:39.800
Athena观察屏幕
0:39.900–0:40.866
寻找控件
0:41.000–0:42.600
执行点击和输入
0:42.733–0:45.133
再根据界面变化决定下一步
0:45.333–0:47.000
一个典型任务可以这样写
0:47.000–0:48.600
打开Google Maps查询
0:48.600–0:50.366
三个地点的行车时间
0:50.400–0:51.866
把结果记录下来
0:51.866–0:55.500
再打开YouTube搜索Coldplay并播放歌曲
0:55.733–0:57.700
传统自动化需要工程师
0:57.700–0:59.800
逐个编写控件选择器
1:00.300–1:02.200
等待条件和异常处理
1:02.366–1:04.066
Artemis接到目标后
1:04.066–1:05.466
会自己拆解步骤
1:05.533–1:07.200
并在应用之间切换
1:07.333–1:08.800
这件事听上去只比
1:08.800–1:10.800
语音助手多了几次点击
1:11.066–1:12.900
底层难度却完全不同
1:13.066–1:15.966
语音助手通常调用预先接好的接口
1:16.066–1:17.800
能做什么早已写死
1:18.366–1:21.866
Automis面对的是不断变化的图形界面
1:22.066–1:23.300
按钮会移动
1:23.566–1:25.100
弹窗会突然出现
1:25.200–1:26.666
网络速度不稳定
1:26.800–1:30.100
应用更新以后控件名称也可能改变
1:30.266–1:32.466
传统移动测试因此很脆弱
1:33.000–1:35.100
一条脚本昨天还能运行
1:35.300–1:38.200
今天可能因为按钮换了位置就失败
1:38.566–1:40.533
测试工程师往往在维护
1:40.533–1:42.700
大量选择器和等待时间
1:42.933–1:44.900
业务逻辑反倒没有变化
1:45.166–1:46.766
产品功能没有变化
1:47.166–1:49.066
自动化脚本仍然要重写
1:49.166–1:51.200
Optimus尝试把这部分维护
1:51.200–1:53.133
工作交给多模态模型
1:53.466–1:55.900
它先读取Android的无障碍层级
1:56.200–1:57.900
获得界面中的文字
1:57.933–2:00.133
控件类型和可操作区域
2:00.466–2:02.100
能找到稳定元素时
2:02.100–2:03.966
它通过元素索引点击
2:04.400–2:05.966
界面结构不足时
2:06.066–2:09.500
再使用坐标OCR和视觉定位
2:09.533–2:11.700
这套组合很重要标准
2:11.800–2:15.133
Android应用通常会暴露清楚的控制树
2:15.200–2:17.566
AI可以知道哪个元素是按钮
2:17.766–2:19.400
哪个元素是输入框
2:20.066–2:22.733
flutter compose和CANVAS绘制的
2:22.733–2:24.766
界面可能只给出很少结构
2:24.900–2:27.466
游戏界面甚至完全没有可用控件
2:27.700–2:29.866
optimus遇到这种情况就
2:29.866–2:32.133
转向截图和视觉模型
2:32.333–2:34.366
纯视觉方案也有明显缺点
2:34.800–2:37.266
截图里的两个按钮可能长得很像
2:37.400–2:39.766
小图标不一定能准确识别
2:39.966–2:42.266
动画还会让坐标快速失效
2:42.533–2:43.766
Artemis没有把全部
2:43.766–2:45.733
希望放在视觉模型上
2:45.800–2:47.933
而是优先使用结构信息
2:48.366–2:49.600
视觉负责补位
2:49.766–2:51.866
这个选择降低了推理成本
2:51.866–2:53.466
也让操作更稳定
2:53.666–2:55.766
项目提供两套执行模式
2:56.200–2:57.966
Flash模式追求速度
2:58.133–2:59.566
采用观察一次
2:59.666–3:00.733
行动一次
3:00.866–3:02.500
再次观察的循环
3:03.100–3:06.733
readme给出的典型速度是每一步3-5秒
3:06.800–3:09.066
它不会先写一份庞大计划
3:09.066–3:11.933
也不会为每个动作生成长篇说明
3:12.066–3:13.400
适合目标清楚
3:13.666–3:15.133
流程较短的任务
3:15.300–3:17.200
打开设置并关闭蓝牙
3:17.700–3:19.733
Flash模式看到当前界面后
3:19.733–3:21.700
会直接寻找设置入口
3:22.166–3:24.066
如果已经位于快捷面板
3:24.066–3:26.400
它不必坚持原先设想的路径
3:26.733–3:28.700
反应式循环的好处是
3:28.866–3:31.500
灵活界面出现意外弹窗时
3:31.500–3:32.866
也能临时调整
3:33.133–3:35.500
速度的代价是缺少全局检查
3:35.766–3:37.566
任务变成长流程后
3:37.700–3:40.333
前面一个小错误可能一直带到最后
3:40.466–3:42.333
代理以为邮件已经发送
3:42.366–3:44.000
实际停在草稿页
3:44.300–3:46.066
他以为文件已经移动
3:46.100–3:48.200
实际只打开了目标文件夹
3:48.700–3:50.200
每一步看起来都合理
3:50.300–3:52.600
最终状态却不符合要求
3:52.900–3:55.166
Pro模式就是为这种任务准备的
3:55.733–3:57.533
他使用多代理图把职责
3:57.533–3:59.966
分给planner operator和Checker
4:00.400–4:02.333
planner维护一份持续
4:02.333–4:04.700
更新的任务计划operator
4:05.366–4:07.966
操作设备checker在关键
4:07.966–4:10.266
节点和结束时检查结果
4:10.300–4:12.566
一次测试超过100步也可以
4:12.566–4:14.733
保留阶段状态继续执行
4:14.966–4:16.533
planner并不只是把
4:16.533–4:18.666
任务写成编号列表
4:19.200–4:22.066
计划里会标出需要验证的里程碑
4:22.900–4:25.100
例如联系人是否真的创建
4:25.533–4:28.366
文件是否已经出现在目标目录
4:28.900–4:31.533
设置开关是否保持正确状态
4:31.766–4:33.166
界面发生变化后
4:33.166–4:34.500
计划也能调整
4:34.766–4:36.966
而不是机械重复最初路线
4:37.200–4:40.166
operator拿到计划后调用完整工具集
4:40.466–4:42.166
它可以读取屏幕结构
4:42.300–4:43.366
查看截图
4:43.466–4:44.533
分析录屏
4:44.666–4:46.133
调用ADB诊断
4:46.900–4:48.300
也可以搜索此前
4:48.300–4:50.066
压缩保存的操作历史
4:50.266–4:51.400
遇到失败时
4:51.400–4:53.666
系统会创建一条执行事件
4:54.000–4:56.933
把失败原因保留在后续上下文中
4:57.133–4:59.200
直到某次操作真正恢复
4:59.500–5:00.700
checker保持只读
5:00.700–5:02.666
不负责替operator点击
5:02.800–5:04.900
这样设计是为了避免执行者
5:04.900–5:07.566
一边操作一边宣布自己成功
5:08.133–5:10.866
checker根据任务目标检查最终状态
5:10.900–5:13.200
也可以在中间里程碑做验证
5:13.400–5:15.466
用户还能选择关闭验证
5:15.700–5:17.100
只做最终验证
5:17.400–5:18.733
检查所有节点
5:19.200–5:21.066
或者使用更严格的模式
5:21.133–5:23.900
每个动作执行前还有一道safety net
5:24.166–5:27.866
系统优先根据XML界面树确认目标
5:28.066–5:30.966
结构信息不足时再检查像素按钮
5:31.133–5:33.400
在模型思考期间已经消失
5:33.500–5:36.000
操作就会被阻止并交回operator
5:36.466–5:38.700
移动界面中的状态变化很快
5:38.800–5:40.466
这道检查可以减少点
5:40.466–5:41.933
到错误位置的情况
5:42.133–5:44.766
Artemis还支持连续动作突发
5:45.333–5:47.400
某些菜单只会短暂显示
5:47.600–5:50.600
如果每点一次都等待模型重新观察
5:50.766–5:52.000
菜单早已关闭
5:52.466–5:55.366
系统可以把几个确定动作连续发出
5:55.466–5:57.266
缩短模型往返延迟
5:57.400–5:59.000
这类工程处理很少
5:59.000–6:00.933
出现在产品宣传中
6:01.300–6:02.733
却直接决定代理
6:02.733–6:04.933
能不能在真实应用里工作
6:05.200–6:07.733
Flash模式每步大约3-5秒
6:07.866–6:10.400
Pro模式通常需要15-40秒
6:10.533–6:12.700
速度差距提醒了一个现实
6:12.800–6:14.566
可靠性不是免费的
6:14.566–6:16.866
规划检查历史检索
6:17.133–6:19.966
和故障恢复都会增加模型调用
6:20.000–6:21.500
短任务追求速度
6:21.533–6:23.000
长任务追求结果
6:23.166–6:26.200
两种场景很难用同一套配置解决
6:26.333–6:29.533
项目最值得关注的用途是软件测试
6:30.200–6:33.100
普通人远程控制手机还排在后面
6:33.200–6:35.100
开发者完成一项功能后
6:35.100–6:37.933
可以让Artemis在真机上复现问题
6:38.100–6:40.300
收集Logcat日志和截图
6:40.366–6:42.466
再把结果交回编程代理
6:42.500–6:45.733
过去分开的写代码跑手机看日志
6:45.933–6:48.133
开始被串成同一条工作流
6:48.166–6:50.600
这里的关键接口是MCP
6:50.966–6:53.100
Optimus自带MCP服务器
6:53.100–6:55.700
可以连接Antigravity Claude code
6:55.966–6:58.766
Windsurf等支持MCP的开发工具
6:59.100–7:01.800
编程代理不再只能阅读代码仓库
7:02.300–7:03.500
他还可以看到应用
7:03.500–7:05.200
实际运行后的界面
7:05.300–7:07.900
并操作设备验证自己的修改
7:08.100–7:09.666
设想一个常见场景
7:09.800–7:12.600
用户报告结账按钮点了没有反应
7:12.800–7:14.933
开发者只拿到一句模糊描述
7:15.166–7:16.533
接入Artemis后
7:16.566–7:18.800
编程代理可以安装测试版本
7:19.166–7:21.266
按照用户路径进入商品页
7:21.333–7:22.200
触发结账
7:22.566–7:23.900
截取错误界面
7:23.966–7:25.866
再读取Logcat中的异常
7:26.000–7:27.666
它修改代码后还能
7:27.666–7:29.400
重新执行同一流程
7:29.533–7:31.766
这会改变修复完成的定义
7:32.000–7:34.800
很多AI编程工具生成代码后
7:34.933–7:36.700
只能运行单元测试
7:37.733–7:39.133
单元测试通过
7:39.266–7:41.533
不代表手机界面真的可用
7:41.733–7:43.100
按钮可能被遮挡
7:43.300–7:45.366
权限弹窗可能阻断流程
7:45.666–7:47.933
键盘弹出后布局也可能错位
7:48.200–7:50.966
Artemis把验证推进到设备层
7:51.300–7:54.200
项目还提供CLI Python SDK
7:54.300–7:56.066
和本地网页控制台
7:56.266–7:58.800
CLI适合在终端直接发起任务
7:59.000–8:01.133
Python SDK可以接入pytest
8:01.133–8:03.333
和CI流程网页控制台
8:03.333–8:04.766
则显示手机画面
8:04.766–8:06.600
推理轨迹和执行过程
8:06.766–8:08.366
失败任务可以回放
8:09.000–8:11.733
测试人员不必只看一句执行失败
8:11.966–8:14.366
快速启动脚本会准备ADB
8:14.700–8:18.100
script ffpeg和Python依赖用户
8:18.466–8:20.166
可以连接开启USB
8:20.166–8:22.300
调试的实体Android设备
8:22.400–8:23.966
也可以使用模拟器
8:24.133–8:25.466
第一次运行时
8:25.533–8:26.966
系统会在设备上
8:26.966–8:29.600
安装Artemis accessibility helper
8:29.866–8:31.733
用它读取屏幕布局
8:31.933–8:33.733
这个辅助服务会出现在
8:33.733–8:35.666
Android的无障碍设置中
8:35.666–8:37.566
并显示一条运行通知
8:38.200–8:39.400
项目说明称
8:39.466–8:41.400
它只在手机本地监听
8:41.400–8:44.300
不会自行把数据发送到其他位置
8:44.366–8:46.000
如果辅助服务失效
8:46.066–8:48.333
系统还能回退到uiautomator
8:48.566–8:50.133
这里要分清本地
8:50.133–8:52.066
辅助服务和模型调用
8:52.533–8:54.000
前者可以本地通信
8:54.166–8:56.200
截图及界面信息是否离开
8:56.200–9:00.000
设备仍取决于模型供应商配置Athena
9:00.000–9:04.933
支持Gemini Claude GPT4O和千问VL等模型
9:05.733–9:08.266
它本身更接近一个代理框架
9:08.400–9:10.266
不是新的基础模型
9:10.400–9:12.666
实际表现会受到所选模型
9:12.800–9:15.800
网络设备性能和应用界面影响
9:15.933–9:17.333
换一个便宜模型
9:17.600–9:18.933
成本可能下降
9:19.366–9:21.466
定位和规划能力也可能变化
9:21.600–9:24.366
这也是99.1%跑分需要
9:24.366–9:25.700
谨慎理解的原因
9:25.933–9:28.300
项目宣称自己在Android world
9:28.466–9:31.366
达到99%以上任务完成率
9:31.500–9:35.166
图表给出的具体数字是99.1%
9:35.300–9:37.400
Android world是Google research
9:37.400–9:38.766
推出的公开环境
9:39.266–9:41.900
包含116项手工设计任务
9:42.366–9:43.766
覆盖20个应用
9:43.800–9:46.666
并通过随机参数生成大量变化
9:46.800–9:49.300
任务包括创建联系人
9:49.533–9:50.533
发送短信
9:50.600–9:51.966
添加日历事件
9:52.100–9:54.300
调整亮度开关Wifi
9:54.366–9:56.900
移动文件和处理播放列表
9:57.000–9:59.766
任务程序会检查设备最终状态
9:59.900–10:02.666
不接受模型自己宣布完成了
10:03.000–10:05.866
这比依靠文字答案评分更可靠
10:05.966–10:07.933
也更接近真实操作
10:08.100–10:12.766
99.1%依然不等于现实手机上的99.1%
10:13.000–10:15.400
Android world使用固定系统版本
10:15.466–10:17.700
预设应用和明确任务类型
10:18.333–10:20.800
真实手机有厂商定制界面
10:20.866–10:24.200
广告弹窗登录验证地区差异
10:24.200–10:26.366
和不断变化的第三方应用
10:26.533–10:28.566
测试集能衡量代理进步
10:28.800–10:31.366
无法覆盖开放世界的全部混乱
10:31.466–10:34.000
这项成绩目前也属于团队自曝
10:34.533–10:36.866
公开排行榜接受社区提交
10:37.000–10:38.500
并不会替每个项目
10:38.500–10:40.300
完整复现所有运行
10:40.566–10:42.933
Artemis仓库展示了对比图
10:43.066–10:45.366
却没有提供足够完整的第三方
10:45.366–10:48.133
审计材料来证明每一次任务如何
10:48.133–10:52.533
运行 99.1%可以称为公开的项目成绩
10:53.100–10:55.566
不能包装成已经独立认证的事实
10:55.900–10:58.066
基准测试还存在适配风险
10:58.600–11:01.400
团队知道全部116项任务后
11:01.400–11:03.100
可以针对常见应用和
11:03.100–11:05.000
失败模式优化提示词
11:05.200–11:06.733
恢复逻辑和工具
11:07.066–11:08.666
优化并不等于作弊
11:09.100–11:11.933
工程系统本来就该改进薄弱点
11:12.000–11:13.566
但一个系统在熟悉
11:13.566–11:15.466
测试集上接近满分
11:15.533–11:17.333
不代表面对从未见过
11:17.333–11:19.166
的应用也有同样表现
11:19.266–11:21.900
更敏感的问题来自项目的代码来源
11:22.600–11:23.966
Artemis公开后
11:24.100–11:26.500
minitab团队在Git Hub提出异议
11:26.700–11:28.466
称仓库包含其开源
11:28.466–11:30.200
项目mobileuse的代码
11:30.266–11:32.166
却没有在最初版本中清楚
11:32.166–11:34.133
保留来源和贡献者信息
11:34.500–11:36.500
minitype列出的证据很具体
11:36.666–11:39.366
早期PI project Tamo曾出现
11:39.366–11:42.066
Mobile use的版本号3.6.3
11:42.133–11:44.066
以及三位原作者姓名
11:44.500–11:46.666
后续提交替换了作者信息
11:46.966–11:49.066
其他大量文件保持不变
11:49.133–11:51.900
双方共享的内容涉及ADB隧道
11:51.933–11:54.366
规划辅助函数应用锁定
11:54.366–11:57.533
工具代理提示词和SDK示例
11:57.700–11:59.500
开源代码可以复用
11:59.500–12:02.933
但Apache2.0并不等于可以抹掉来源
12:03.333–12:06.000
许可证允许修改和商业使用
12:06.066–12:09.266
同时要求保留相应版权及许可说明
12:09.400–12:10.866
争议焦点不在Google
12:10.866–12:12.400
能不能使用这些代码
12:12.566–12:15.466
而在它是否完整履行了署名义务
12:15.666–12:17.366
以及发布过程为什么
12:17.366–12:19.366
先移除了原作者信息
12:19.600–12:21.800
当前仓库已经补充说明
12:22.266–12:23.866
明确写着项目包含
12:23.866–12:25.733
minitab开发的源代码
12:25.966–12:28.966
相关文件也增加了版权和来源标记
12:29.500–12:32.100
提出问题的Git Hub议题已经关闭
12:32.266–12:35.700
这解决了当前readme没有署名的问题
12:35.866–12:39.066
却无法抹去最初发布时发生过什么
12:39.066–12:41.066
这场争议让Artemis的
12:41.066–12:42.600
故事变得更有价值
12:42.866–12:44.866
大型公司开源项目时
12:44.933–12:46.900
外界往往默认代码已经
12:46.900–12:49.100
经过完善法务和来源审查
12:49.500–12:50.766
实际情况说明
12:50.800–12:53.366
即使仓库挂在Google组织名下
12:53.366–12:55.300
也需要查看提交记录
12:55.533–12:57.133
notice和文件头
12:57.333–12:59.300
品牌不能代替开源合规
12:59.466–13:01.933
跑分争议又让问题多了一层
13:02.666–13:04.600
Mini Tab表示自己的mobileuse
13:04.600–13:06.733
后来曾自测到更高层级
13:07.000–13:09.366
但公开榜单没有及时更新
13:09.533–13:12.333
Artemis的图表列出多个竞争项目
13:12.500–13:15.533
却没有清楚呈现双方最新可比结果
13:15.800–13:17.400
这里无法仅凭一方说法
13:17.400–13:19.366
判断榜单维护者的动机
13:19.533–13:21.300
但可以确认排行榜存在
13:21.300–13:23.200
更新和独立验证不足
13:23.300–13:24.966
这些问题不应被用来
13:24.966–13:27.666
否定Artemis的全部技术价值
13:28.500–13:29.866
仓库不是一个空壳
13:30.166–13:32.200
里面有完整的命令行工具
13:32.866–13:33.933
MCP服务器
13:34.200–13:35.266
设备驱动
13:35.400–13:36.600
网页控制台
13:36.966–13:38.933
测试目录和多代理流程
13:39.100–13:40.900
短时间获得大量关注
13:40.933–13:42.366
也说明开发者确实
13:42.366–13:44.133
需要更可靠的移动端
13:44.333–13:45.500
AI自动化
13:45.500–13:47.000
同样不能因为代码能
13:47.000–13:48.966
运行就忽略来源问题
13:49.133–13:50.366
技术能力和开源
13:50.366–13:52.200
合规是两条独立标准
13:52.500–13:54.266
一个项目可以有实用价值
13:54.300–13:57.333
同时在发布流程中犯下严重错误
13:57.500–14:00.666
把任何一边省略都会让判断失真
14:00.866–14:02.333
Artemis当前的成熟
14:02.333–14:04.300
边界也写在路线图里
14:04.900–14:07.533
Android studio原生插件仍未完成
14:07.800–14:09.933
ios扩展还在计划中
14:10.166–14:12.400
端侧轻量视觉模型和实时
14:12.400–14:14.900
双向语音控制也没有正式交付
14:15.166–14:18.300
现在可用的是Android设备自动化框架
14:18.566–14:21.466
不是覆盖所有移动平台的万能代理
14:22.133–14:24.500
ios迟早会成为重要方向
14:24.566–14:26.666
但难度不会只是把ADB
14:26.666–14:27.933
换成另一套命令
14:28.166–14:30.466
苹果系统对自动化后台
14:30.466–14:32.666
运行和权限控制更严格
14:32.866–14:35.600
实体设备与模拟器的行为也不同
14:36.400–14:38.366
项目路线图写了ios
14:38.500–14:41.366
不代表现有架构已经解决这些限制
14:41.666–14:44.200
端侧视觉模型同样值得关注
14:44.533–14:46.766
今天使用云端多模态模型
14:47.066–14:48.400
截图和界面信息
14:48.400–14:50.100
可能需要传到服务商
14:50.400–14:52.300
延迟和隐私都受影响
14:52.500–14:54.466
轻量模型如果能在手机
14:54.466–14:56.800
或开发机本地识别界面
14:56.866–14:58.666
可以减少数据外传
14:58.733–15:01.066
也能缩短每一步等待时间
15:01.500–15:03.333
代价是模型能力下降
15:03.566–15:06.100
复杂页面的识别可能不够稳定
15:06.200–15:08.400
Artemis要进入企业测试
15:08.600–15:10.733
还要解决权限和隔离
15:11.133–15:13.766
测试手机可能登录内部账号
15:13.933–15:17.266
包含未发布功能和真实业务数据
15:17.500–15:21.300
代理拥有ADB截图和日志读取能力
15:21.900–15:23.333
一旦配置错误
15:23.733–15:26.600
泄露范围会比普通测试脚本更大
15:26.733–15:29.000
企业需要限制模型端点
15:29.000–15:31.133
保存周期和可执行命令
15:31.466–15:32.566
提示词注入也是
15:32.566–15:34.300
移动代理绕不开的风险
15:34.700–15:35.933
应用页面可以显示
15:35.933–15:38.133
一段专门写给AI的文字
15:38.333–15:40.166
诱导它忽略测试目标
15:40.266–15:42.533
打开其他应用或泄露信息
15:42.933–15:44.933
人类测试员看到异常文字
15:44.966–15:46.766
会判断模型可能把它
15:46.766–15:48.400
当成高优先级指令
15:48.700–15:50.933
safety net能检查目标位置
15:51.100–15:53.866
未必能识别内容本身的恶意意图
15:54.000–15:56.733
持续集成环境还需要可复现性
15:56.933–15:59.466
同一个自然语言任务今天通过
15:59.466–16:00.466
明天失败
16:01.066–16:03.133
开发团队很难判断是代码
16:03.133–16:06.166
回归模型波动还是界面变化
16:06.366–16:09.266
Optimus必须记录模型版本提示
16:09.266–16:12.766
词截图动作轨迹和设备状态
16:12.933–16:15.666
才能让失败结果具有工程价值
16:16.000–16:19.500
成本也不能被99.1%的数字遮住
16:19.866–16:22.700
Pro模式每一步可能消耗15-40秒
16:22.866–16:25.933
还会调用规划视觉和检查模型
16:26.000–16:27.766
一次上百步的测试要
16:27.766–16:29.933
花多少时间和API费用
16:30.100–16:32.566
决定它能否替代传统自动化
16:32.700–16:35.700
高价值探索测试可以接受较高成本
16:35.700–16:38.866
大量重复回归测试未必划算
16:39.366–16:42.100
最合理的使用方式可能是混合测试
16:42.500–16:44.400
稳定高频的核心流程
16:44.400–16:46.333
继续使用传统脚本
16:46.466–16:48.900
速度快结果也容易复现
16:49.100–16:50.866
经常变化或难以维护
16:50.866–16:53.133
的界面交给Artemis探索
16:53.533–16:55.366
AI发现稳定路径后
16:55.366–16:58.500
还可以帮助生成更固定的测试用例
16:58.566–17:01.000
这样分工比AI取代所有
17:01.000–17:03.133
测试工程师更接近现实
17:03.333–17:05.700
测试人员需要定义风险准备
17:05.700–17:08.333
环境判断结果和处理异常
17:08.733–17:11.933
Artemis减少的是反复找按钮维护
17:11.933–17:14.366
选择器和手工复现的时间
17:14.666–17:17.566
并没有替团队决定什么功能最重要
17:17.700–17:20.300
也不能替公司承担发布责任
17:20.666–17:23.300
测试工程师的工作会随之变化
17:23.466–17:26.200
过去大量时间花在脚本维护
17:26.466–17:29.200
未来更多时间会用于设计任务
17:29.300–17:32.566
设置验证条件和分析失败轨迹
17:32.800–17:34.800
自然语言看似降低了门槛
17:34.933–17:37.266
准确描述目标反而更重要
17:37.566–17:39.600
含糊任务会让代理找到
17:39.600–17:41.500
一条看起来完成的路径
17:41.766–17:43.800
却漏掉真正的业务要求
17:43.966–17:46.700
开发流程也可能从提交代码后统一
17:46.700–17:49.900
测试变成编程代理边写边操作设备
17:50.133–17:51.666
它修改登录页面
17:51.966–17:53.566
立刻安装构建版本
17:53.566–17:55.666
走一遍登录和找回密码
17:55.666–17:57.466
再根据日志继续修改
17:57.666–17:59.200
设备不再是开发链
17:59.200–18:00.966
末端的人工检查站
18:01.200–18:03.866
而是AI编码循环的一部分
18:03.966–18:06.366
这会给小团队带来明显价值
18:06.800–18:09.133
没有专职移动测试工程师的团队
18:09.366–18:11.800
也能建立基本的真机回归流程
18:11.866–18:13.466
可规模扩大以后
18:13.600–18:16.333
设备农场账号管理和并发
18:16.333–18:18.966
调度仍然需要专业基础设施
18:19.266–18:21.500
optimus解决了操作智能
18:21.733–18:24.666
不会自动解决所有测试平台问题
18:25.000–18:27.700
设备管理是一项容易被忽略的成本
18:27.900–18:29.666
几十台手机同时测试
18:29.900–18:31.600
需要保持系统版本
18:32.066–18:33.500
屏幕分辨率和应用
18:33.500–18:35.133
数据处于可控状态
18:35.300–18:37.533
某项测试结束后还要清理
18:37.533–18:40.866
联系人短信文件和登录状态
18:41.133–18:42.700
否则下一次任务会
18:42.700–18:44.600
读取上一次留下的数据
18:44.766–18:47.000
Android world之所以能评测代理
18:47.333–18:48.733
正是因为它为任务
18:48.733–18:51.100
准备初始化和结束检查
18:51.300–18:53.966
企业自己的应用没有现成评测器
18:54.200–18:56.333
团队必须定义什么叫成功
18:56.566–18:57.933
页面出现提交完成
18:57.933–18:59.500
可能只是前端提示
18:59.733–19:01.900
后台订单未必真正创建
19:02.066–19:04.133
Optimus可以点击和观察
19:04.666–19:06.200
却需要业务系统提供
19:06.200–19:07.933
更可靠的验证信号
19:08.100–19:10.400
数据库记录接口状态和
19:10.400–19:12.333
设备画面要互相对照
19:12.533–19:14.166
才能减少假成功
19:14.400–19:16.933
自然语言任务也需要版本管理
19:17.266–19:19.900
测试人员把创建一个联系人改成
19:19.900–19:22.866
创建联系人并确认号码能够搜索到
19:23.000–19:24.600
验证范围已经变化
19:25.000–19:27.566
如果这段文字只存在聊天记录中
19:27.666–19:29.966
团队很难追踪回归标准
19:30.200–19:33.000
成熟用法需要把任务描述断言
19:33.000–19:35.900
和环境配置像代码一样保存
19:35.933–19:37.533
并进入评审流程
19:37.733–19:40.133
模型更新还会制造另一种波动
19:40.766–19:42.666
供应商更换默认模型后
19:42.666–19:44.866
同一句指令可能走不同路径
19:45.133–19:46.600
新模型更聪明
19:46.600–19:49.266
却也可能更愿意尝试危险动作
19:49.466–19:51.333
团队要锁定模型版本
19:51.400–19:52.400
建立基线
19:52.500–19:55.366
并在升级前重新运行关键任务
19:55.533–19:57.533
传统脚本的变化来自代码
19:57.966–20:00.166
代理测试的变化还来自模型
20:00.366–20:02.266
Optimus的历史压缩机制
20:02.266–20:04.733
就是为长任务控制上下文
20:04.866–20:07.133
它不会一直保留每张旧截图
20:07.333–20:08.733
而是把已经完成的
20:08.733–20:11.000
步骤压缩成可搜索记录
20:11.100–20:14.566
否则100步任务会迅速塞满模型窗口
20:14.700–20:16.733
费用和延迟一起上升
20:16.933–20:18.400
压缩能延长任务
20:18.700–20:20.466
代价是某些视觉细节
20:20.466–20:22.100
可能在摘要中丢失
20:22.333–20:24.266
历史检索因此不能只
20:24.266–20:26.533
依靠一句之前已经完成
20:27.300–20:29.166
系统需要保留关键证据
20:29.500–20:31.566
例如创建后的联系人页面
20:31.900–20:34.566
移动后的文件路径和操作返回值
20:35.066–20:37.366
摘要负责告诉代理发生过什么
20:37.466–20:40.333
原始证据负责在出现争议时复核
20:40.766–20:42.066
两者缺一项
20:42.333–20:44.333
长流程都会变得不可信
20:44.566–20:47.133
录屏分析提供了另一条诊断线
20:47.566–20:48.800
界面一闪而过
20:48.800–20:51.066
单张截图可能抓不到问题
20:51.333–20:53.066
录屏可以重建动画
20:53.133–20:55.333
弹窗和键盘出现的顺序
20:55.566–20:58.066
Optimus把fempy列为依赖
20:58.300–21:00.533
就是为了处理这类时序信息
21:00.733–21:03.400
移动端bug经常只存在几百毫秒
21:03.800–21:06.100
日志里也未必留下明确错误
21:06.200–21:08.933
不过录屏会扩大隐私范围
21:09.466–21:12.200
测试账号的通知联系人头像
21:12.200–21:14.700
和输入内容都可能进入文件
21:15.333–21:18.000
团队需要在采集前关闭无关通知
21:18.266–21:19.600
使用合成数据
21:19.600–21:21.566
并限制报告中的截图
21:21.733–21:23.666
代理自动收集越方便
21:23.866–21:25.600
数据治理越不能依靠
21:25.600–21:27.366
测试人员临时判断
21:27.566–21:29.533
权限边界还涉及ADB
21:29.800–21:31.300
ADB能够安装应用
21:31.300–21:32.166
读取日志
21:32.333–21:33.133
启动组件
21:33.133–21:35.000
并执行系统命令权限
21:35.466–21:37.166
远高于普通用户操作
21:37.333–21:39.600
Artemis如果连接生产手机
21:39.600–21:40.800
风险非常高
21:40.966–21:42.933
合理部署应使用专门
21:42.933–21:45.133
测试设备和隔离账号
21:45.166–21:48.533
CI中的密钥也不能直接暴露给模型
21:48.900–21:51.000
开源在这里提供了现实优势
21:51.266–21:52.966
企业可以检查每个工具
21:52.966–21:54.666
到底调用了什么命令
21:54.800–21:57.400
也能删掉不需要的高风险能力
21:57.600–22:00.500
闭源手机代理只给出服务界面
22:00.600–22:02.866
用户很难确认数据流向
22:03.166–22:06.500
Optimus把设备驱动和代理逻辑公开
22:06.800–22:08.466
至少让安全团队有
22:08.466–22:10.300
审计和改造的入口
22:10.366–22:12.466
开源也带来维护压力
22:12.900–22:14.866
仓库没有正式版本标签
22:15.166–22:18.133
当前项目迭代集中在很短时间内
22:18.700–22:19.733
依赖很多
22:19.933–22:23.100
既有LANGGRAPH和多家模型SDK
22:23.200–22:27.100
也有ADB UI Automator和图像处理组件
22:27.533–22:29.933
任何上游变化都可能影响安装
22:30.133–22:32.300
9,000多个星标代表关注度
22:32.400–22:34.366
不等于长期维护承诺
22:34.533–22:36.466
开发者在实际采用前
22:36.566–22:38.700
需要先跑自己的小型评测
22:39.366–22:41.800
选择10-20条最关键流程
22:42.300–22:45.466
分别记录成功率平均耗时
22:45.666–22:47.900
模型费用和人工干预次数
22:48.000–22:49.200
只看Android world
22:49.766–22:52.100
总分无法回答企业自己的登录
22:52.100–22:54.800
支付和权限页面能不能稳定运行
22:54.966–22:57.066
失败类型也应分开统计
22:57.866–23:00.466
模型找不到控件属于感知问题
23:00.766–23:02.933
计划走错属于推理问题
23:03.566–23:05.800
应用崩溃属于产品问题
23:06.266–23:08.366
网路超时则是环境问题
23:08.466–23:10.566
把所有失败压成一个百分比
23:10.800–23:13.800
团队不知道该修提示词换模型
23:13.933–23:15.600
还是修改应用本身
23:15.733–23:19.333
Atemis有时最有价值的结果是暴露
23:19.333–23:22.066
产品不利于自动化和无障碍访问
23:22.700–23:24.866
通过本身反倒没那么重要
23:24.933–23:26.700
一个按钮没有语义标签
23:26.966–23:28.533
模型只能猜坐标
23:29.100–23:30.166
视障用户的屏幕
23:30.166–23:31.900
阅读器也可能无法识别
23:32.000–23:33.766
代理测试会反过来推动
23:33.766–23:35.900
开发者补齐控件描述
23:36.133–23:38.466
最终改善真实用户体验
23:38.500–23:41.200
这让它与传统视觉测试形成区别
23:42.000–23:43.533
截图对比擅长发现
23:43.533–23:45.900
颜色位置和布局变化
23:46.333–23:49.333
而Temis更擅长判断任务能不能完成
23:49.666–23:52.366
前者告诉团队按钮移动了5个像素
23:52.500–23:53.933
后者告诉团队用户
23:53.933–23:55.600
已经无法完成退款
23:55.766–23:57.266
两类测试结合
23:57.366–23:58.733
覆盖面才完整
23:58.933–24:00.766
市场上也不只有Artemis
24:00.766–24:04.733
final run auto device droid run uitas
24:05.000–24:06.966
和多种computer use模型都
24:06.966–24:08.800
在争夺移动代理入口
24:08.866–24:11.400
他们选择不同模型和规划架构
24:11.500–24:12.966
公开程度也不同
24:13.133–24:15.300
99.1%的领先
24:15.400–24:17.100
如果不能被持续复现
24:17.200–24:20.300
很快就会被下一轮模型和工具改写
24:20.466–24:23.100
Google开源这套框架还有生态意义
24:23.500–24:25.466
Android开发者可以围绕它增加
24:25.466–24:28.533
设备驱动行业任务和验证插件
24:28.800–24:30.500
模型公司也能把它作为
24:30.500–24:32.600
计算机操作能力的试验场
24:32.600–24:35.500
一个共同框架如果形成移动代理
24:35.566–24:37.300
就不必每家公司都从
24:37.300–24:39.366
截图和点击重新造轮子
24:39.366–24:42.166
可共同框架必须建立可信治理
24:42.600–24:44.600
贡献代码需要清楚来源
24:44.866–24:47.166
排行榜需要公开测试条件
24:47.333–24:49.666
安全漏洞需要有响应流程
24:49.800–24:51.566
minitab争议已经说明
24:51.700–24:53.566
技术社区不仅看功能
24:53.566–24:56.400
也看维护者如何处理他人的劳动
24:56.466–24:58.866
Google后来补上署名是必要修正
24:58.966–25:01.000
公开解释仍然同样重要
25:01.533–25:04.333
Artemis未来若接入Android studio
25:04.666–25:07.266
开发者可以在IDE里选中一个界面
25:07.366–25:09.566
直接生成并运行设备任务
25:10.100–25:11.766
这个设想很有吸引力
25:11.766–25:13.800
但插件目前还在路线图
25:13.866–25:16.666
现阶段仍要通过命令行网页
25:16.666–25:19.266
控制台或MCP连接部署体验
25:19.466–25:20.900
更适合愿意处理
25:20.900–25:22.666
环境配置的技术团队
25:22.900–25:25.000
实时语音也尚未完成
25:25.400–25:26.566
即使以后上线
25:26.800–25:28.100
它的意义也不只是
25:28.100–25:29.933
说一句话控制手机
25:30.566–25:32.533
双向语音要求代理在
25:32.533–25:34.500
操作过程中报告进度
25:35.333–25:37.100
用户能够随时打断
25:37.200–25:39.100
并在敏感步骤确认
25:39.166–25:40.800
没有可靠中断机制
25:41.466–25:44.066
语音只会让错误操作更难阻止
25:44.266–25:45.333
长期来看
25:45.500–25:47.366
手机代理可能从测试
25:47.366–25:49.333
工具进入运维和客服
25:49.766–25:51.800
客服人员接到用户问题后
25:51.800–25:54.500
可以在隔离设备上复现相同路径
25:54.800–25:57.100
应用商店审核可以自动
25:57.100–25:59.000
探索权限和订阅流程
25:59.366–26:01.166
企业内部还能检查不同
26:01.166–26:03.300
版本是否出现行为变化
26:03.600–26:04.700
这些场景都需要
26:04.700–26:06.666
明确授权和受控环境
26:06.900–26:09.366
不能直接拿真实用户账户试验
26:09.533–26:11.200
最有争议的想象是让
26:11.200–26:13.066
代理自行发现漏洞
26:13.266–26:14.666
它能够遍历界面
26:14.666–26:15.933
输入异常内容
26:15.933–26:17.966
观察崩溃并读取日志
26:18.166–26:20.166
确实具备一定探索能力
26:20.366–26:23.266
公开项目的目标是测试和诊断
26:23.866–26:26.600
不等于授权代理攻击第三方应用
26:26.766–26:28.666
使用边界仍由操作者和
26:28.666–26:30.333
目标系统的许可决定
26:30.500–26:32.200
它对普通用户也有潜力
26:32.566–26:34.066
视障人士可以用自然
26:34.066–26:36.133
语言完成复杂应用操作
26:36.400–26:37.666
老人可以减少在
26:37.666–26:39.533
多层菜单中寻找按钮
26:39.933–26:42.966
重复性手机任务可以交给代理不过
26:43.200–26:46.066
项目当前的产品形态面向开发者
26:46.166–26:48.300
需要配置Python模型
26:48.333–26:51.100
密钥ADB和无障碍权限
26:51.266–26:53.533
距离大众助手还有明显距离
26:53.733–26:56.733
Artemis真正释放出的信号是AI
26:56.733–26:59.100
代理开始从浏览器走进设备
26:59.566–27:02.733
网页有DOM和相对统一的交互结构
27:02.866–27:04.566
手机应用更加封闭
27:04.700–27:06.000
一个开源框架能够
27:06.000–27:07.733
跨应用完成长流程
27:07.900–27:10.500
说明多模态模型工具调用和
27:10.500–27:12.933
状态管理已经组合到新的阶段
27:13.400–27:14.966
这个阶段仍然粗糙
27:15.333–27:16.766
速度按秒计算
27:16.866–27:19.300
复杂模式一步可能接近1分钟
27:19.533–27:22.400
权限配置不当会带来安全风险
27:22.700–27:25.066
基准成绩缺少完整独立验证
27:25.200–27:27.100
开源署名还发生过争议
27:27.600–27:29.300
它没有资格被包装成
27:29.300–27:30.966
成熟的手机操作系统
27:30.966–27:32.733
代理可它也不是一次
27:32.733–27:34.566
无关紧要的代码发布
27:35.000–27:37.066
Google把项目放在公开仓库
27:37.266–27:39.400
使用Apache 2.0许可证
27:39.600–27:41.366
开发者可以检查实现
27:41.500–27:42.300
替换模型
27:42.300–27:43.866
并接入自己的设备
27:44.166–27:47.300
开源让外界有机会复测99.1%
27:47.333–27:50.200
也让代码来源问题无法被藏起来
27:50.400–27:53.366
它同时接受技术检验和社区审查
27:53.566–27:55.866
接下来最值得观察的是三件事
27:56.066–27:58.766
GitHub星标能涨到多少并不关键
27:59.200–28:03.300
独立团队能否复现接近99.1%的结果
28:03.666–28:05.400
企业能否在真实应用
28:05.400–28:07.300
中稳定运行长流程
28:07.600–28:09.500
以及维护者能否持续
28:09.500–28:11.666
处理安全与署名问题
28:11.866–28:13.000
任何一项失败
28:13.166–28:15.466
Optimus都可能停留在演示阶段
28:15.700–28:17.333
如果三项都能过关
28:17.366–28:19.900
移动开发会发生一次实质变化
28:20.200–28:23.100
编程代理将不再只盯着代码和终端
28:23.533–28:24.966
他能拿起一台手机
28:24.966–28:27.566
用用户的方式检查自己的作品
28:27.700–28:30.666
测试脚本也不必把每个坐标写死
28:30.866–28:32.533
目标和验证条件会
28:32.533–28:34.133
成为新的核心资产
28:34.133–28:35.933
所以Artemis最重要的
28:35.933–28:37.766
地方不是AI会点手机了
28:38.100–28:39.366
真正的变化是
28:39.400–28:42.366
AI第一次有机会把理解需求修改
28:42.366–28:45.500
代码操作设备和验证结果连成闭环
28:45.700–28:49.000
99.1%只是吸引注意力的数字
28:49.533–28:50.800
能不能把这个闭环
28:50.866–28:53.133
稳定放进真实开发流程
28:53.266–28:55.500
才决定它会成为基础工具
28:55.600–28:58.000
还是另一个跑分漂亮的开源项目
0:00.166–0:02.866
zh一句话就能让AI打开真实手机
一句话就能让AI打开真实手机
0:03.100–0:06.466
zh跨应用查路线算时间播放音乐
跨应用查路线算时间播放音乐
0:06.500–0:08.566
zh最后自动提交测试报告
最后自动提交测试报告
0:08.766–0:10.733
zh谷歌刚刚把这套系统开源
谷歌刚刚把这套系统开源
0:11.133–0:15.533
zh项目方还给出了99.1%的任务成功率
项目方还给出了99.1%的任务成功率
0:15.933–0:17.800
zh但先别急着把它理解成
但先别急着把它理解成
0:17.800–0:20.133
zh安卓已经被AI彻底接管
安卓已经被AI彻底接管
0:20.500–0:22.866
zh因为那个数字背后还有一场关于
因为那个数字背后还有一场关于
0:22.866–0:26.500
zh跑分代码来源和开源署名的争议
跑分代码来源和开源署名的争议
0:26.600–0:28.266
zh这套系统叫Artemis
这套系统叫Artemis
0:28.466–0:29.933
zh它面对的是一台真实
它面对的是一台真实
0:29.933–0:31.733
zhAndroid手机或模拟器
Android手机或模拟器
0:32.133–0:33.966
zh网页和专门为AI准备
网页和专门为AI准备
0:33.966–0:35.600
zh的演示界面都不够
的演示界面都不够
0:35.766–0:38.000
zh开发者用自然语言描述任务
开发者用自然语言描述任务
0:38.300–0:39.800
zhAthena观察屏幕
Athena观察屏幕
0:39.900–0:40.866
zh寻找控件
寻找控件
0:41.000–0:42.600
zh执行点击和输入
执行点击和输入
0:42.733–0:45.133
zh再根据界面变化决定下一步
再根据界面变化决定下一步
0:45.333–0:47.000
zh一个典型任务可以这样写
一个典型任务可以这样写
0:47.000–0:48.600
zh打开Google Maps查询
打开Google Maps查询
0:48.600–0:50.366
zh三个地点的行车时间
三个地点的行车时间
0:50.400–0:51.866
zh把结果记录下来
把结果记录下来
0:51.866–0:55.500
zh再打开YouTube搜索Coldplay并播放歌曲
再打开YouTube搜索Coldplay并播放歌曲
0:55.733–0:57.700
zh传统自动化需要工程师
传统自动化需要工程师
0:57.700–0:59.800
zh逐个编写控件选择器
逐个编写控件选择器
1:00.300–1:02.200
zh等待条件和异常处理
等待条件和异常处理
1:02.366–1:04.066
zhArtemis接到目标后
Artemis接到目标后
1:04.066–1:05.466
zh会自己拆解步骤
会自己拆解步骤
1:05.533–1:07.200
zh并在应用之间切换
并在应用之间切换
1:07.333–1:08.800
zh这件事听上去只比
这件事听上去只比
1:08.800–1:10.800
zh语音助手多了几次点击
语音助手多了几次点击
1:11.066–1:12.900
zh底层难度却完全不同
底层难度却完全不同
1:13.066–1:15.966
zh语音助手通常调用预先接好的接口
语音助手通常调用预先接好的接口
1:16.066–1:17.800
zh能做什么早已写死
能做什么早已写死
1:18.366–1:21.866
zhAutomis面对的是不断变化的图形界面
Automis面对的是不断变化的图形界面
1:22.066–1:23.300
zh按钮会移动
按钮会移动
1:23.566–1:25.100
zh弹窗会突然出现
弹窗会突然出现
1:25.200–1:26.666
zh网络速度不稳定
网络速度不稳定
1:26.800–1:30.100
zh应用更新以后控件名称也可能改变
应用更新以后控件名称也可能改变
1:30.266–1:32.466
zh传统移动测试因此很脆弱
传统移动测试因此很脆弱
1:33.000–1:35.100
zh一条脚本昨天还能运行
一条脚本昨天还能运行
1:35.300–1:38.200
zh今天可能因为按钮换了位置就失败
今天可能因为按钮换了位置就失败
1:38.566–1:40.533
zh测试工程师往往在维护
测试工程师往往在维护
1:40.533–1:42.700
zh大量选择器和等待时间
大量选择器和等待时间
1:42.933–1:44.900
zh业务逻辑反倒没有变化
业务逻辑反倒没有变化
1:45.166–1:46.766
zh产品功能没有变化
产品功能没有变化
1:47.166–1:49.066
zh自动化脚本仍然要重写
自动化脚本仍然要重写
1:49.166–1:51.200
zhOptimus尝试把这部分维护
Optimus尝试把这部分维护
1:51.200–1:53.133
zh工作交给多模态模型
工作交给多模态模型
1:53.466–1:55.900
zh它先读取Android的无障碍层级
它先读取Android的无障碍层级
1:56.200–1:57.900
zh获得界面中的文字
获得界面中的文字
1:57.933–2:00.133
zh控件类型和可操作区域
控件类型和可操作区域
2:00.466–2:02.100
zh能找到稳定元素时
能找到稳定元素时
2:02.100–2:03.966
zh它通过元素索引点击
它通过元素索引点击
2:04.400–2:05.966
zh界面结构不足时
界面结构不足时
2:06.066–2:09.500
zh再使用坐标OCR和视觉定位
再使用坐标OCR和视觉定位
2:09.533–2:11.700
zh这套组合很重要标准
这套组合很重要标准
2:11.800–2:15.133
zhAndroid应用通常会暴露清楚的控制树
Android应用通常会暴露清楚的控制树
2:15.200–2:17.566
zhAI可以知道哪个元素是按钮
AI可以知道哪个元素是按钮
2:17.766–2:19.400
zh哪个元素是输入框
哪个元素是输入框
2:20.066–2:22.733
zhflutter compose和CANVAS绘制的
flutter compose和CANVAS绘制的
2:22.733–2:24.766
zh界面可能只给出很少结构
界面可能只给出很少结构
2:24.900–2:27.466
zh游戏界面甚至完全没有可用控件
游戏界面甚至完全没有可用控件
2:27.700–2:29.866
zhoptimus遇到这种情况就
optimus遇到这种情况就
2:29.866–2:32.133
zh转向截图和视觉模型
转向截图和视觉模型
2:32.333–2:34.366
zh纯视觉方案也有明显缺点
纯视觉方案也有明显缺点
2:34.800–2:37.266
zh截图里的两个按钮可能长得很像
截图里的两个按钮可能长得很像
2:37.400–2:39.766
zh小图标不一定能准确识别
小图标不一定能准确识别
2:39.966–2:42.266
zh动画还会让坐标快速失效
动画还会让坐标快速失效
2:42.533–2:43.766
zhArtemis没有把全部
Artemis没有把全部
2:43.766–2:45.733
zh希望放在视觉模型上
希望放在视觉模型上
2:45.800–2:47.933
zh而是优先使用结构信息
而是优先使用结构信息
2:48.366–2:49.600
zh视觉负责补位
视觉负责补位
2:49.766–2:51.866
zh这个选择降低了推理成本
这个选择降低了推理成本
2:51.866–2:53.466
zh也让操作更稳定
也让操作更稳定
2:53.666–2:55.766
zh项目提供两套执行模式
项目提供两套执行模式
2:56.200–2:57.966
zhFlash模式追求速度
Flash模式追求速度
2:58.133–2:59.566
zh采用观察一次
采用观察一次
2:59.666–3:00.733
zh行动一次
行动一次
3:00.866–3:02.500
zh再次观察的循环
再次观察的循环
3:03.100–3:06.733
zhreadme给出的典型速度是每一步3-5秒
readme给出的典型速度是每一步3-5秒
3:06.800–3:09.066
zh它不会先写一份庞大计划
它不会先写一份庞大计划
3:09.066–3:11.933
zh也不会为每个动作生成长篇说明
也不会为每个动作生成长篇说明
3:12.066–3:13.400
zh适合目标清楚
适合目标清楚
3:13.666–3:15.133
zh流程较短的任务
流程较短的任务
3:15.300–3:17.200
zh打开设置并关闭蓝牙
打开设置并关闭蓝牙
3:17.700–3:19.733
zhFlash模式看到当前界面后
Flash模式看到当前界面后
3:19.733–3:21.700
zh会直接寻找设置入口
会直接寻找设置入口
3:22.166–3:24.066
zh如果已经位于快捷面板
如果已经位于快捷面板
3:24.066–3:26.400
zh它不必坚持原先设想的路径
它不必坚持原先设想的路径
3:26.733–3:28.700
zh反应式循环的好处是
反应式循环的好处是
3:28.866–3:31.500
zh灵活界面出现意外弹窗时
灵活界面出现意外弹窗时
3:31.500–3:32.866
zh也能临时调整
也能临时调整
3:33.133–3:35.500
zh速度的代价是缺少全局检查
速度的代价是缺少全局检查
3:35.766–3:37.566
zh任务变成长流程后
任务变成长流程后
3:37.700–3:40.333
zh前面一个小错误可能一直带到最后
前面一个小错误可能一直带到最后
3:40.466–3:42.333
zh代理以为邮件已经发送
代理以为邮件已经发送
3:42.366–3:44.000
zh实际停在草稿页
实际停在草稿页
3:44.300–3:46.066
zh他以为文件已经移动
他以为文件已经移动
3:46.100–3:48.200
zh实际只打开了目标文件夹
实际只打开了目标文件夹
3:48.700–3:50.200
zh每一步看起来都合理
每一步看起来都合理
3:50.300–3:52.600
zh最终状态却不符合要求
最终状态却不符合要求
3:52.900–3:55.166
zhPro模式就是为这种任务准备的
Pro模式就是为这种任务准备的
3:55.733–3:57.533
zh他使用多代理图把职责
他使用多代理图把职责
3:57.533–3:59.966
zh分给planner operator和Checker
分给planner operator和Checker
4:00.400–4:02.333
zhplanner维护一份持续
planner维护一份持续
4:02.333–4:04.700
zh更新的任务计划operator
更新的任务计划operator
4:05.366–4:07.966
zh操作设备checker在关键
操作设备checker在关键
4:07.966–4:10.266
zh节点和结束时检查结果
节点和结束时检查结果
4:10.300–4:12.566
zh一次测试超过100步也可以
一次测试超过100步也可以
4:12.566–4:14.733
zh保留阶段状态继续执行
保留阶段状态继续执行
4:14.966–4:16.533
zhplanner并不只是把
planner并不只是把
4:16.533–4:18.666
zh任务写成编号列表
任务写成编号列表
4:19.200–4:22.066
zh计划里会标出需要验证的里程碑
计划里会标出需要验证的里程碑
4:22.900–4:25.100
zh例如联系人是否真的创建
例如联系人是否真的创建
4:25.533–4:28.366
zh文件是否已经出现在目标目录
文件是否已经出现在目标目录
4:28.900–4:31.533
zh设置开关是否保持正确状态
设置开关是否保持正确状态
4:31.766–4:33.166
zh界面发生变化后
界面发生变化后
4:33.166–4:34.500
zh计划也能调整
计划也能调整
4:34.766–4:36.966
zh而不是机械重复最初路线
而不是机械重复最初路线
4:37.200–4:40.166
zhoperator拿到计划后调用完整工具集
operator拿到计划后调用完整工具集
4:40.466–4:42.166
zh它可以读取屏幕结构
它可以读取屏幕结构
4:42.300–4:43.366
zh查看截图
查看截图
4:43.466–4:44.533
zh分析录屏
分析录屏
4:44.666–4:46.133
zh调用ADB诊断
调用ADB诊断
4:46.900–4:48.300
zh也可以搜索此前
也可以搜索此前
4:48.300–4:50.066
zh压缩保存的操作历史
压缩保存的操作历史
4:50.266–4:51.400
zh遇到失败时
遇到失败时
4:51.400–4:53.666
zh系统会创建一条执行事件
系统会创建一条执行事件
4:54.000–4:56.933
zh把失败原因保留在后续上下文中
把失败原因保留在后续上下文中
4:57.133–4:59.200
zh直到某次操作真正恢复
直到某次操作真正恢复
4:59.500–5:00.700
zhchecker保持只读
checker保持只读
5:00.700–5:02.666
zh不负责替operator点击
不负责替operator点击
5:02.800–5:04.900
zh这样设计是为了避免执行者
这样设计是为了避免执行者
5:04.900–5:07.566
zh一边操作一边宣布自己成功
一边操作一边宣布自己成功
5:08.133–5:10.866
zhchecker根据任务目标检查最终状态
checker根据任务目标检查最终状态
5:10.900–5:13.200
zh也可以在中间里程碑做验证
也可以在中间里程碑做验证
5:13.400–5:15.466
zh用户还能选择关闭验证
用户还能选择关闭验证
5:15.700–5:17.100
zh只做最终验证
只做最终验证
5:17.400–5:18.733
zh检查所有节点
检查所有节点
5:19.200–5:21.066
zh或者使用更严格的模式
或者使用更严格的模式
5:21.133–5:23.900
zh每个动作执行前还有一道safety net
每个动作执行前还有一道safety net
5:24.166–5:27.866
zh系统优先根据XML界面树确认目标
系统优先根据XML界面树确认目标
5:28.066–5:30.966
zh结构信息不足时再检查像素按钮
结构信息不足时再检查像素按钮
5:31.133–5:33.400
zh在模型思考期间已经消失
在模型思考期间已经消失
5:33.500–5:36.000
zh操作就会被阻止并交回operator
操作就会被阻止并交回operator
5:36.466–5:38.700
zh移动界面中的状态变化很快
移动界面中的状态变化很快
5:38.800–5:40.466
zh这道检查可以减少点
这道检查可以减少点
5:40.466–5:41.933
zh到错误位置的情况
到错误位置的情况
5:42.133–5:44.766
zhArtemis还支持连续动作突发
Artemis还支持连续动作突发
5:45.333–5:47.400
zh某些菜单只会短暂显示
某些菜单只会短暂显示
5:47.600–5:50.600
zh如果每点一次都等待模型重新观察
如果每点一次都等待模型重新观察
5:50.766–5:52.000
zh菜单早已关闭
菜单早已关闭
5:52.466–5:55.366
zh系统可以把几个确定动作连续发出
系统可以把几个确定动作连续发出
5:55.466–5:57.266
zh缩短模型往返延迟
缩短模型往返延迟
5:57.400–5:59.000
zh这类工程处理很少
这类工程处理很少
5:59.000–6:00.933
zh出现在产品宣传中
出现在产品宣传中
6:01.300–6:02.733
zh却直接决定代理
却直接决定代理
6:02.733–6:04.933
zh能不能在真实应用里工作
能不能在真实应用里工作
6:05.200–6:07.733
zhFlash模式每步大约3-5秒
Flash模式每步大约3-5秒
6:07.866–6:10.400
zhPro模式通常需要15-40秒
Pro模式通常需要15-40秒
6:10.533–6:12.700
zh速度差距提醒了一个现实
速度差距提醒了一个现实
6:12.800–6:14.566
zh可靠性不是免费的
可靠性不是免费的
6:14.566–6:16.866
zh规划检查历史检索
规划检查历史检索
6:17.133–6:19.966
zh和故障恢复都会增加模型调用
和故障恢复都会增加模型调用
6:20.000–6:21.500
zh短任务追求速度
短任务追求速度
6:21.533–6:23.000
zh长任务追求结果
长任务追求结果
6:23.166–6:26.200
zh两种场景很难用同一套配置解决
两种场景很难用同一套配置解决
6:26.333–6:29.533
zh项目最值得关注的用途是软件测试
项目最值得关注的用途是软件测试
6:30.200–6:33.100
zh普通人远程控制手机还排在后面
普通人远程控制手机还排在后面
6:33.200–6:35.100
zh开发者完成一项功能后
开发者完成一项功能后
6:35.100–6:37.933
zh可以让Artemis在真机上复现问题
可以让Artemis在真机上复现问题
6:38.100–6:40.300
zh收集Logcat日志和截图
收集Logcat日志和截图
6:40.366–6:42.466
zh再把结果交回编程代理
再把结果交回编程代理
6:42.500–6:45.733
zh过去分开的写代码跑手机看日志
过去分开的写代码跑手机看日志
6:45.933–6:48.133
zh开始被串成同一条工作流
开始被串成同一条工作流
6:48.166–6:50.600
zh这里的关键接口是MCP
这里的关键接口是MCP
6:50.966–6:53.100
zhOptimus自带MCP服务器
Optimus自带MCP服务器
6:53.100–6:55.700
zh可以连接Antigravity Claude code
可以连接Antigravity Claude code
6:55.966–6:58.766
zhWindsurf等支持MCP的开发工具
Windsurf等支持MCP的开发工具
6:59.100–7:01.800
zh编程代理不再只能阅读代码仓库
编程代理不再只能阅读代码仓库
7:02.300–7:03.500
zh他还可以看到应用
他还可以看到应用
7:03.500–7:05.200
zh实际运行后的界面
实际运行后的界面
7:05.300–7:07.900
zh并操作设备验证自己的修改
并操作设备验证自己的修改
7:08.100–7:09.666
zh设想一个常见场景
设想一个常见场景
7:09.800–7:12.600
zh用户报告结账按钮点了没有反应
用户报告结账按钮点了没有反应
7:12.800–7:14.933
zh开发者只拿到一句模糊描述
开发者只拿到一句模糊描述
7:15.166–7:16.533
zh接入Artemis后
接入Artemis后
7:16.566–7:18.800
zh编程代理可以安装测试版本
编程代理可以安装测试版本
7:19.166–7:21.266
zh按照用户路径进入商品页
按照用户路径进入商品页
7:21.333–7:22.200
zh触发结账
触发结账
7:22.566–7:23.900
zh截取错误界面
截取错误界面
7:23.966–7:25.866
zh再读取Logcat中的异常
再读取Logcat中的异常
7:26.000–7:27.666
zh它修改代码后还能
它修改代码后还能
7:27.666–7:29.400
zh重新执行同一流程
重新执行同一流程
7:29.533–7:31.766
zh这会改变修复完成的定义
这会改变修复完成的定义
7:32.000–7:34.800
zh很多AI编程工具生成代码后
很多AI编程工具生成代码后
7:34.933–7:36.700
zh只能运行单元测试
只能运行单元测试
7:37.733–7:39.133
zh单元测试通过
单元测试通过
7:39.266–7:41.533
zh不代表手机界面真的可用
不代表手机界面真的可用
7:41.733–7:43.100
zh按钮可能被遮挡
按钮可能被遮挡
7:43.300–7:45.366
zh权限弹窗可能阻断流程
权限弹窗可能阻断流程
7:45.666–7:47.933
zh键盘弹出后布局也可能错位
键盘弹出后布局也可能错位
7:48.200–7:50.966
zhArtemis把验证推进到设备层
Artemis把验证推进到设备层
7:51.300–7:54.200
zh项目还提供CLI Python SDK
项目还提供CLI Python SDK
7:54.300–7:56.066
zh和本地网页控制台
和本地网页控制台
7:56.266–7:58.800
zhCLI适合在终端直接发起任务
CLI适合在终端直接发起任务
7:59.000–8:01.133
zhPython SDK可以接入pytest
Python SDK可以接入pytest
8:01.133–8:03.333
zh和CI流程网页控制台
和CI流程网页控制台
8:03.333–8:04.766
zh则显示手机画面
则显示手机画面
8:04.766–8:06.600
zh推理轨迹和执行过程
推理轨迹和执行过程
8:06.766–8:08.366
zh失败任务可以回放
失败任务可以回放
8:09.000–8:11.733
zh测试人员不必只看一句执行失败
测试人员不必只看一句执行失败
8:11.966–8:14.366
zh快速启动脚本会准备ADB
快速启动脚本会准备ADB
8:14.700–8:18.100
zhscript ffpeg和Python依赖用户
script ffpeg和Python依赖用户
8:18.466–8:20.166
zh可以连接开启USB
可以连接开启USB
8:20.166–8:22.300
zh调试的实体Android设备
调试的实体Android设备
8:22.400–8:23.966
zh也可以使用模拟器
也可以使用模拟器
8:24.133–8:25.466
zh第一次运行时
第一次运行时
8:25.533–8:26.966
zh系统会在设备上
系统会在设备上
8:26.966–8:29.600
zh安装Artemis accessibility helper
安装Artemis accessibility helper
8:29.866–8:31.733
zh用它读取屏幕布局
用它读取屏幕布局
8:31.933–8:33.733
zh这个辅助服务会出现在
这个辅助服务会出现在
8:33.733–8:35.666
zhAndroid的无障碍设置中
Android的无障碍设置中
8:35.666–8:37.566
zh并显示一条运行通知
并显示一条运行通知
8:38.200–8:39.400
zh项目说明称
项目说明称
8:39.466–8:41.400
zh它只在手机本地监听
它只在手机本地监听
8:41.400–8:44.300
zh不会自行把数据发送到其他位置
不会自行把数据发送到其他位置
8:44.366–8:46.000
zh如果辅助服务失效
如果辅助服务失效
8:46.066–8:48.333
zh系统还能回退到uiautomator
系统还能回退到uiautomator
8:48.566–8:50.133
zh这里要分清本地
这里要分清本地
8:50.133–8:52.066
zh辅助服务和模型调用
辅助服务和模型调用
8:52.533–8:54.000
zh前者可以本地通信
前者可以本地通信
8:54.166–8:56.200
zh截图及界面信息是否离开
截图及界面信息是否离开
8:56.200–9:00.000
zh设备仍取决于模型供应商配置Athena
设备仍取决于模型供应商配置Athena
9:00.000–9:04.933
zh支持Gemini Claude GPT4O和千问VL等模型
支持Gemini Claude GPT4O和千问VL等模型
9:05.733–9:08.266
zh它本身更接近一个代理框架
它本身更接近一个代理框架
9:08.400–9:10.266
zh不是新的基础模型
不是新的基础模型
9:10.400–9:12.666
zh实际表现会受到所选模型
实际表现会受到所选模型
9:12.800–9:15.800
zh网络设备性能和应用界面影响
网络设备性能和应用界面影响
9:15.933–9:17.333
zh换一个便宜模型
换一个便宜模型
9:17.600–9:18.933
zh成本可能下降
成本可能下降
9:19.366–9:21.466
zh定位和规划能力也可能变化
定位和规划能力也可能变化
9:21.600–9:24.366
zh这也是99.1%跑分需要
这也是99.1%跑分需要
9:24.366–9:25.700
zh谨慎理解的原因
谨慎理解的原因
9:25.933–9:28.300
zh项目宣称自己在Android world
项目宣称自己在Android world
9:28.466–9:31.366
zh达到99%以上任务完成率
达到99%以上任务完成率
9:31.500–9:35.166
zh图表给出的具体数字是99.1%
图表给出的具体数字是99.1%
9:35.300–9:37.400
zhAndroid world是Google research
Android world是Google research
9:37.400–9:38.766
zh推出的公开环境
推出的公开环境
9:39.266–9:41.900
zh包含116项手工设计任务
包含116项手工设计任务
9:42.366–9:43.766
zh覆盖20个应用
覆盖20个应用
9:43.800–9:46.666
zh并通过随机参数生成大量变化
并通过随机参数生成大量变化
9:46.800–9:49.300
zh任务包括创建联系人
任务包括创建联系人
9:49.533–9:50.533
zh发送短信
发送短信
9:50.600–9:51.966
zh添加日历事件
添加日历事件
9:52.100–9:54.300
zh调整亮度开关Wifi
调整亮度开关Wifi
9:54.366–9:56.900
zh移动文件和处理播放列表
移动文件和处理播放列表
9:57.000–9:59.766
zh任务程序会检查设备最终状态
任务程序会检查设备最终状态
9:59.900–10:02.666
zh不接受模型自己宣布完成了
不接受模型自己宣布完成了
10:03.000–10:05.866
zh这比依靠文字答案评分更可靠
这比依靠文字答案评分更可靠
10:05.966–10:07.933
zh也更接近真实操作
也更接近真实操作
10:08.100–10:12.766
zh99.1%依然不等于现实手机上的99.1%
99.1%依然不等于现实手机上的99.1%
10:13.000–10:15.400
zhAndroid world使用固定系统版本
Android world使用固定系统版本
10:15.466–10:17.700
zh预设应用和明确任务类型
预设应用和明确任务类型
10:18.333–10:20.800
zh真实手机有厂商定制界面
真实手机有厂商定制界面
10:20.866–10:24.200
zh广告弹窗登录验证地区差异
广告弹窗登录验证地区差异
10:24.200–10:26.366
zh和不断变化的第三方应用
和不断变化的第三方应用
10:26.533–10:28.566
zh测试集能衡量代理进步
测试集能衡量代理进步
10:28.800–10:31.366
zh无法覆盖开放世界的全部混乱
无法覆盖开放世界的全部混乱
10:31.466–10:34.000
zh这项成绩目前也属于团队自曝
这项成绩目前也属于团队自曝
10:34.533–10:36.866
zh公开排行榜接受社区提交
公开排行榜接受社区提交
10:37.000–10:38.500
zh并不会替每个项目
并不会替每个项目
10:38.500–10:40.300
zh完整复现所有运行
完整复现所有运行
10:40.566–10:42.933
zhArtemis仓库展示了对比图
Artemis仓库展示了对比图
10:43.066–10:45.366
zh却没有提供足够完整的第三方
却没有提供足够完整的第三方
10:45.366–10:48.133
zh审计材料来证明每一次任务如何
审计材料来证明每一次任务如何
10:48.133–10:52.533
zh运行 99.1%可以称为公开的项目成绩
运行 99.1%可以称为公开的项目成绩
10:53.100–10:55.566
zh不能包装成已经独立认证的事实
不能包装成已经独立认证的事实
10:55.900–10:58.066
zh基准测试还存在适配风险
基准测试还存在适配风险
10:58.600–11:01.400
zh团队知道全部116项任务后
团队知道全部116项任务后
11:01.400–11:03.100
zh可以针对常见应用和
可以针对常见应用和
11:03.100–11:05.000
zh失败模式优化提示词
失败模式优化提示词
11:05.200–11:06.733
zh恢复逻辑和工具
恢复逻辑和工具
11:07.066–11:08.666
zh优化并不等于作弊
优化并不等于作弊
11:09.100–11:11.933
zh工程系统本来就该改进薄弱点
工程系统本来就该改进薄弱点
11:12.000–11:13.566
zh但一个系统在熟悉
但一个系统在熟悉
11:13.566–11:15.466
zh测试集上接近满分
测试集上接近满分
11:15.533–11:17.333
zh不代表面对从未见过
不代表面对从未见过
11:17.333–11:19.166
zh的应用也有同样表现
的应用也有同样表现
11:19.266–11:21.900
zh更敏感的问题来自项目的代码来源
更敏感的问题来自项目的代码来源
11:22.600–11:23.966
zhArtemis公开后
Artemis公开后
11:24.100–11:26.500
zhminitab团队在Git Hub提出异议
minitab团队在Git Hub提出异议
11:26.700–11:28.466
zh称仓库包含其开源
称仓库包含其开源
11:28.466–11:30.200
zh项目mobileuse的代码
项目mobileuse的代码
11:30.266–11:32.166
zh却没有在最初版本中清楚
却没有在最初版本中清楚
11:32.166–11:34.133
zh保留来源和贡献者信息
保留来源和贡献者信息
11:34.500–11:36.500
zhminitype列出的证据很具体
minitype列出的证据很具体
11:36.666–11:39.366
zh早期PI project Tamo曾出现
早期PI project Tamo曾出现
11:39.366–11:42.066
zhMobile use的版本号3.6.3
Mobile use的版本号3.6.3
11:42.133–11:44.066
zh以及三位原作者姓名
以及三位原作者姓名
11:44.500–11:46.666
zh后续提交替换了作者信息
后续提交替换了作者信息
11:46.966–11:49.066
zh其他大量文件保持不变
其他大量文件保持不变
11:49.133–11:51.900
zh双方共享的内容涉及ADB隧道
双方共享的内容涉及ADB隧道
11:51.933–11:54.366
zh规划辅助函数应用锁定
规划辅助函数应用锁定
11:54.366–11:57.533
zh工具代理提示词和SDK示例
工具代理提示词和SDK示例
11:57.700–11:59.500
zh开源代码可以复用
开源代码可以复用
11:59.500–12:02.933
zh但Apache2.0并不等于可以抹掉来源
但Apache2.0并不等于可以抹掉来源
12:03.333–12:06.000
zh许可证允许修改和商业使用
许可证允许修改和商业使用
12:06.066–12:09.266
zh同时要求保留相应版权及许可说明
同时要求保留相应版权及许可说明
12:09.400–12:10.866
zh争议焦点不在Google
争议焦点不在Google
12:10.866–12:12.400
zh能不能使用这些代码
能不能使用这些代码
12:12.566–12:15.466
zh而在它是否完整履行了署名义务
而在它是否完整履行了署名义务
12:15.666–12:17.366
zh以及发布过程为什么
以及发布过程为什么
12:17.366–12:19.366
zh先移除了原作者信息
先移除了原作者信息
12:19.600–12:21.800
zh当前仓库已经补充说明
当前仓库已经补充说明
12:22.266–12:23.866
zh明确写着项目包含
明确写着项目包含
12:23.866–12:25.733
zhminitab开发的源代码
minitab开发的源代码
12:25.966–12:28.966
zh相关文件也增加了版权和来源标记
相关文件也增加了版权和来源标记
12:29.500–12:32.100
zh提出问题的Git Hub议题已经关闭
提出问题的Git Hub议题已经关闭
12:32.266–12:35.700
zh这解决了当前readme没有署名的问题
这解决了当前readme没有署名的问题
12:35.866–12:39.066
zh却无法抹去最初发布时发生过什么
却无法抹去最初发布时发生过什么
12:39.066–12:41.066
zh这场争议让Artemis的
这场争议让Artemis的
12:41.066–12:42.600
zh故事变得更有价值
故事变得更有价值
12:42.866–12:44.866
zh大型公司开源项目时
大型公司开源项目时
12:44.933–12:46.900
zh外界往往默认代码已经
外界往往默认代码已经
12:46.900–12:49.100
zh经过完善法务和来源审查
经过完善法务和来源审查
12:49.500–12:50.766
zh实际情况说明
实际情况说明
12:50.800–12:53.366
zh即使仓库挂在Google组织名下
即使仓库挂在Google组织名下
12:53.366–12:55.300
zh也需要查看提交记录
也需要查看提交记录
12:55.533–12:57.133
zhnotice和文件头
notice和文件头
12:57.333–12:59.300
zh品牌不能代替开源合规
品牌不能代替开源合规
12:59.466–13:01.933
zh跑分争议又让问题多了一层
跑分争议又让问题多了一层
13:02.666–13:04.600
zhMini Tab表示自己的mobileuse
Mini Tab表示自己的mobileuse
13:04.600–13:06.733
zh后来曾自测到更高层级
后来曾自测到更高层级
13:07.000–13:09.366
zh但公开榜单没有及时更新
但公开榜单没有及时更新
13:09.533–13:12.333
zhArtemis的图表列出多个竞争项目
Artemis的图表列出多个竞争项目
13:12.500–13:15.533
zh却没有清楚呈现双方最新可比结果
却没有清楚呈现双方最新可比结果
13:15.800–13:17.400
zh这里无法仅凭一方说法
这里无法仅凭一方说法
13:17.400–13:19.366
zh判断榜单维护者的动机
判断榜单维护者的动机
13:19.533–13:21.300
zh但可以确认排行榜存在
但可以确认排行榜存在
13:21.300–13:23.200
zh更新和独立验证不足
更新和独立验证不足
13:23.300–13:24.966
zh这些问题不应被用来
这些问题不应被用来
13:24.966–13:27.666
zh否定Artemis的全部技术价值
否定Artemis的全部技术价值
13:28.500–13:29.866
zh仓库不是一个空壳
仓库不是一个空壳
13:30.166–13:32.200
zh里面有完整的命令行工具
里面有完整的命令行工具
13:32.866–13:33.933
zhMCP服务器
MCP服务器
13:34.200–13:35.266
zh设备驱动
设备驱动
13:35.400–13:36.600
zh网页控制台
网页控制台
13:36.966–13:38.933
zh测试目录和多代理流程
测试目录和多代理流程
13:39.100–13:40.900
zh短时间获得大量关注
短时间获得大量关注
13:40.933–13:42.366
zh也说明开发者确实
也说明开发者确实
13:42.366–13:44.133
zh需要更可靠的移动端
需要更可靠的移动端
13:44.333–13:45.500
zhAI自动化
AI自动化
13:45.500–13:47.000
zh同样不能因为代码能
同样不能因为代码能
13:47.000–13:48.966
zh运行就忽略来源问题
运行就忽略来源问题
13:49.133–13:50.366
zh技术能力和开源
技术能力和开源
13:50.366–13:52.200
zh合规是两条独立标准
合规是两条独立标准
13:52.500–13:54.266
zh一个项目可以有实用价值
一个项目可以有实用价值
13:54.300–13:57.333
zh同时在发布流程中犯下严重错误
同时在发布流程中犯下严重错误
13:57.500–14:00.666
zh把任何一边省略都会让判断失真
把任何一边省略都会让判断失真
14:00.866–14:02.333
zhArtemis当前的成熟
Artemis当前的成熟
14:02.333–14:04.300
zh边界也写在路线图里
边界也写在路线图里
14:04.900–14:07.533
zhAndroid studio原生插件仍未完成
Android studio原生插件仍未完成
14:07.800–14:09.933
zhios扩展还在计划中
ios扩展还在计划中
14:10.166–14:12.400
zh端侧轻量视觉模型和实时
端侧轻量视觉模型和实时
14:12.400–14:14.900
zh双向语音控制也没有正式交付
双向语音控制也没有正式交付
14:15.166–14:18.300
zh现在可用的是Android设备自动化框架
现在可用的是Android设备自动化框架
14:18.566–14:21.466
zh不是覆盖所有移动平台的万能代理
不是覆盖所有移动平台的万能代理
14:22.133–14:24.500
zhios迟早会成为重要方向
ios迟早会成为重要方向
14:24.566–14:26.666
zh但难度不会只是把ADB
但难度不会只是把ADB
14:26.666–14:27.933
zh换成另一套命令
换成另一套命令
14:28.166–14:30.466
zh苹果系统对自动化后台
苹果系统对自动化后台
14:30.466–14:32.666
zh运行和权限控制更严格
运行和权限控制更严格
14:32.866–14:35.600
zh实体设备与模拟器的行为也不同
实体设备与模拟器的行为也不同
14:36.400–14:38.366
zh项目路线图写了ios
项目路线图写了ios
14:38.500–14:41.366
zh不代表现有架构已经解决这些限制
不代表现有架构已经解决这些限制
14:41.666–14:44.200
zh端侧视觉模型同样值得关注
端侧视觉模型同样值得关注
14:44.533–14:46.766
zh今天使用云端多模态模型
今天使用云端多模态模型
14:47.066–14:48.400
zh截图和界面信息
截图和界面信息
14:48.400–14:50.100
zh可能需要传到服务商
可能需要传到服务商
14:50.400–14:52.300
zh延迟和隐私都受影响
延迟和隐私都受影响
14:52.500–14:54.466
zh轻量模型如果能在手机
轻量模型如果能在手机
14:54.466–14:56.800
zh或开发机本地识别界面
或开发机本地识别界面
14:56.866–14:58.666
zh可以减少数据外传
可以减少数据外传
14:58.733–15:01.066
zh也能缩短每一步等待时间
也能缩短每一步等待时间
15:01.500–15:03.333
zh代价是模型能力下降
代价是模型能力下降
15:03.566–15:06.100
zh复杂页面的识别可能不够稳定
复杂页面的识别可能不够稳定
15:06.200–15:08.400
zhArtemis要进入企业测试
Artemis要进入企业测试
15:08.600–15:10.733
zh还要解决权限和隔离
还要解决权限和隔离
15:11.133–15:13.766
zh测试手机可能登录内部账号
测试手机可能登录内部账号
15:13.933–15:17.266
zh包含未发布功能和真实业务数据
包含未发布功能和真实业务数据
15:17.500–15:21.300
zh代理拥有ADB截图和日志读取能力
代理拥有ADB截图和日志读取能力
15:21.900–15:23.333
zh一旦配置错误
一旦配置错误
15:23.733–15:26.600
zh泄露范围会比普通测试脚本更大
泄露范围会比普通测试脚本更大
15:26.733–15:29.000
zh企业需要限制模型端点
企业需要限制模型端点
15:29.000–15:31.133
zh保存周期和可执行命令
保存周期和可执行命令
15:31.466–15:32.566
zh提示词注入也是
提示词注入也是
15:32.566–15:34.300
zh移动代理绕不开的风险
移动代理绕不开的风险
15:34.700–15:35.933
zh应用页面可以显示
应用页面可以显示
15:35.933–15:38.133
zh一段专门写给AI的文字
一段专门写给AI的文字
15:38.333–15:40.166
zh诱导它忽略测试目标
诱导它忽略测试目标
15:40.266–15:42.533
zh打开其他应用或泄露信息
打开其他应用或泄露信息
15:42.933–15:44.933
zh人类测试员看到异常文字
人类测试员看到异常文字
15:44.966–15:46.766
zh会判断模型可能把它
会判断模型可能把它
15:46.766–15:48.400
zh当成高优先级指令
当成高优先级指令
15:48.700–15:50.933
zhsafety net能检查目标位置
safety net能检查目标位置
15:51.100–15:53.866
zh未必能识别内容本身的恶意意图
未必能识别内容本身的恶意意图
15:54.000–15:56.733
zh持续集成环境还需要可复现性
持续集成环境还需要可复现性
15:56.933–15:59.466
zh同一个自然语言任务今天通过
同一个自然语言任务今天通过
15:59.466–16:00.466
zh明天失败
明天失败
16:01.066–16:03.133
zh开发团队很难判断是代码
开发团队很难判断是代码
16:03.133–16:06.166
zh回归模型波动还是界面变化
回归模型波动还是界面变化
16:06.366–16:09.266
zhOptimus必须记录模型版本提示
Optimus必须记录模型版本提示
16:09.266–16:12.766
zh词截图动作轨迹和设备状态
词截图动作轨迹和设备状态
16:12.933–16:15.666
zh才能让失败结果具有工程价值
才能让失败结果具有工程价值
16:16.000–16:19.500
zh成本也不能被99.1%的数字遮住
成本也不能被99.1%的数字遮住
16:19.866–16:22.700
zhPro模式每一步可能消耗15-40秒
Pro模式每一步可能消耗15-40秒
16:22.866–16:25.933
zh还会调用规划视觉和检查模型
还会调用规划视觉和检查模型
16:26.000–16:27.766
zh一次上百步的测试要
一次上百步的测试要
16:27.766–16:29.933
zh花多少时间和API费用
花多少时间和API费用
16:30.100–16:32.566
zh决定它能否替代传统自动化
决定它能否替代传统自动化
16:32.700–16:35.700
zh高价值探索测试可以接受较高成本
高价值探索测试可以接受较高成本
16:35.700–16:38.866
zh大量重复回归测试未必划算
大量重复回归测试未必划算
16:39.366–16:42.100
zh最合理的使用方式可能是混合测试
最合理的使用方式可能是混合测试
16:42.500–16:44.400
zh稳定高频的核心流程
稳定高频的核心流程
16:44.400–16:46.333
zh继续使用传统脚本
继续使用传统脚本
16:46.466–16:48.900
zh速度快结果也容易复现
速度快结果也容易复现
16:49.100–16:50.866
zh经常变化或难以维护
经常变化或难以维护
16:50.866–16:53.133
zh的界面交给Artemis探索
的界面交给Artemis探索
16:53.533–16:55.366
zhAI发现稳定路径后
AI发现稳定路径后
16:55.366–16:58.500
zh还可以帮助生成更固定的测试用例
还可以帮助生成更固定的测试用例
16:58.566–17:01.000
zh这样分工比AI取代所有
这样分工比AI取代所有
17:01.000–17:03.133
zh测试工程师更接近现实
测试工程师更接近现实
17:03.333–17:05.700
zh测试人员需要定义风险准备
测试人员需要定义风险准备
17:05.700–17:08.333
zh环境判断结果和处理异常
环境判断结果和处理异常
17:08.733–17:11.933
zhArtemis减少的是反复找按钮维护
Artemis减少的是反复找按钮维护
17:11.933–17:14.366
zh选择器和手工复现的时间
选择器和手工复现的时间
17:14.666–17:17.566
zh并没有替团队决定什么功能最重要
并没有替团队决定什么功能最重要
17:17.700–17:20.300
zh也不能替公司承担发布责任
也不能替公司承担发布责任
17:20.666–17:23.300
zh测试工程师的工作会随之变化
测试工程师的工作会随之变化
17:23.466–17:26.200
zh过去大量时间花在脚本维护
过去大量时间花在脚本维护
17:26.466–17:29.200
zh未来更多时间会用于设计任务
未来更多时间会用于设计任务
17:29.300–17:32.566
zh设置验证条件和分析失败轨迹
设置验证条件和分析失败轨迹
17:32.800–17:34.800
zh自然语言看似降低了门槛
自然语言看似降低了门槛
17:34.933–17:37.266
zh准确描述目标反而更重要
准确描述目标反而更重要
17:37.566–17:39.600
zh含糊任务会让代理找到
含糊任务会让代理找到
17:39.600–17:41.500
zh一条看起来完成的路径
一条看起来完成的路径
17:41.766–17:43.800
zh却漏掉真正的业务要求
却漏掉真正的业务要求
17:43.966–17:46.700
zh开发流程也可能从提交代码后统一
开发流程也可能从提交代码后统一
17:46.700–17:49.900
zh测试变成编程代理边写边操作设备
测试变成编程代理边写边操作设备
17:50.133–17:51.666
zh它修改登录页面
它修改登录页面
17:51.966–17:53.566
zh立刻安装构建版本
立刻安装构建版本
17:53.566–17:55.666
zh走一遍登录和找回密码
走一遍登录和找回密码
17:55.666–17:57.466
zh再根据日志继续修改
再根据日志继续修改
17:57.666–17:59.200
zh设备不再是开发链
设备不再是开发链
17:59.200–18:00.966
zh末端的人工检查站
末端的人工检查站
18:01.200–18:03.866
zh而是AI编码循环的一部分
而是AI编码循环的一部分
18:03.966–18:06.366
zh这会给小团队带来明显价值
这会给小团队带来明显价值
18:06.800–18:09.133
zh没有专职移动测试工程师的团队
没有专职移动测试工程师的团队
18:09.366–18:11.800
zh也能建立基本的真机回归流程
也能建立基本的真机回归流程
18:11.866–18:13.466
zh可规模扩大以后
可规模扩大以后
18:13.600–18:16.333
zh设备农场账号管理和并发
设备农场账号管理和并发
18:16.333–18:18.966
zh调度仍然需要专业基础设施
调度仍然需要专业基础设施
18:19.266–18:21.500
zhoptimus解决了操作智能
optimus解决了操作智能
18:21.733–18:24.666
zh不会自动解决所有测试平台问题
不会自动解决所有测试平台问题
18:25.000–18:27.700
zh设备管理是一项容易被忽略的成本
设备管理是一项容易被忽略的成本
18:27.900–18:29.666
zh几十台手机同时测试
几十台手机同时测试
18:29.900–18:31.600
zh需要保持系统版本
需要保持系统版本
18:32.066–18:33.500
zh屏幕分辨率和应用
屏幕分辨率和应用
18:33.500–18:35.133
zh数据处于可控状态
数据处于可控状态
18:35.300–18:37.533
zh某项测试结束后还要清理
某项测试结束后还要清理
18:37.533–18:40.866
zh联系人短信文件和登录状态
联系人短信文件和登录状态
18:41.133–18:42.700
zh否则下一次任务会
否则下一次任务会
18:42.700–18:44.600
zh读取上一次留下的数据
读取上一次留下的数据
18:44.766–18:47.000
zhAndroid world之所以能评测代理
Android world之所以能评测代理
18:47.333–18:48.733
zh正是因为它为任务
正是因为它为任务
18:48.733–18:51.100
zh准备初始化和结束检查
准备初始化和结束检查
18:51.300–18:53.966
zh企业自己的应用没有现成评测器
企业自己的应用没有现成评测器
18:54.200–18:56.333
zh团队必须定义什么叫成功
团队必须定义什么叫成功
18:56.566–18:57.933
zh页面出现提交完成
页面出现提交完成
18:57.933–18:59.500
zh可能只是前端提示
可能只是前端提示
18:59.733–19:01.900
zh后台订单未必真正创建
后台订单未必真正创建
19:02.066–19:04.133
zhOptimus可以点击和观察
Optimus可以点击和观察
19:04.666–19:06.200
zh却需要业务系统提供
却需要业务系统提供
19:06.200–19:07.933
zh更可靠的验证信号
更可靠的验证信号
19:08.100–19:10.400
zh数据库记录接口状态和
数据库记录接口状态和
19:10.400–19:12.333
zh设备画面要互相对照
设备画面要互相对照
19:12.533–19:14.166
zh才能减少假成功
才能减少假成功
19:14.400–19:16.933
zh自然语言任务也需要版本管理
自然语言任务也需要版本管理
19:17.266–19:19.900
zh测试人员把创建一个联系人改成
测试人员把创建一个联系人改成
19:19.900–19:22.866
zh创建联系人并确认号码能够搜索到
创建联系人并确认号码能够搜索到
19:23.000–19:24.600
zh验证范围已经变化
验证范围已经变化
19:25.000–19:27.566
zh如果这段文字只存在聊天记录中
如果这段文字只存在聊天记录中
19:27.666–19:29.966
zh团队很难追踪回归标准
团队很难追踪回归标准
19:30.200–19:33.000
zh成熟用法需要把任务描述断言
成熟用法需要把任务描述断言
19:33.000–19:35.900
zh和环境配置像代码一样保存
和环境配置像代码一样保存
19:35.933–19:37.533
zh并进入评审流程
并进入评审流程
19:37.733–19:40.133
zh模型更新还会制造另一种波动
模型更新还会制造另一种波动
19:40.766–19:42.666
zh供应商更换默认模型后
供应商更换默认模型后
19:42.666–19:44.866
zh同一句指令可能走不同路径
同一句指令可能走不同路径
19:45.133–19:46.600
zh新模型更聪明
新模型更聪明
19:46.600–19:49.266
zh却也可能更愿意尝试危险动作
却也可能更愿意尝试危险动作
19:49.466–19:51.333
zh团队要锁定模型版本
团队要锁定模型版本
19:51.400–19:52.400
zh建立基线
建立基线
19:52.500–19:55.366
zh并在升级前重新运行关键任务
并在升级前重新运行关键任务
19:55.533–19:57.533
zh传统脚本的变化来自代码
传统脚本的变化来自代码
19:57.966–20:00.166
zh代理测试的变化还来自模型
代理测试的变化还来自模型
20:00.366–20:02.266
zhOptimus的历史压缩机制
Optimus的历史压缩机制
20:02.266–20:04.733
zh就是为长任务控制上下文
就是为长任务控制上下文
20:04.866–20:07.133
zh它不会一直保留每张旧截图
它不会一直保留每张旧截图
20:07.333–20:08.733
zh而是把已经完成的
而是把已经完成的
20:08.733–20:11.000
zh步骤压缩成可搜索记录
步骤压缩成可搜索记录
20:11.100–20:14.566
zh否则100步任务会迅速塞满模型窗口
否则100步任务会迅速塞满模型窗口
20:14.700–20:16.733
zh费用和延迟一起上升
费用和延迟一起上升
20:16.933–20:18.400
zh压缩能延长任务
压缩能延长任务
20:18.700–20:20.466
zh代价是某些视觉细节
代价是某些视觉细节
20:20.466–20:22.100
zh可能在摘要中丢失
可能在摘要中丢失
20:22.333–20:24.266
zh历史检索因此不能只
历史检索因此不能只
20:24.266–20:26.533
zh依靠一句之前已经完成
依靠一句之前已经完成
20:27.300–20:29.166
zh系统需要保留关键证据
系统需要保留关键证据
20:29.500–20:31.566
zh例如创建后的联系人页面
例如创建后的联系人页面
20:31.900–20:34.566
zh移动后的文件路径和操作返回值
移动后的文件路径和操作返回值
20:35.066–20:37.366
zh摘要负责告诉代理发生过什么
摘要负责告诉代理发生过什么
20:37.466–20:40.333
zh原始证据负责在出现争议时复核
原始证据负责在出现争议时复核
20:40.766–20:42.066
zh两者缺一项
两者缺一项
20:42.333–20:44.333
zh长流程都会变得不可信
长流程都会变得不可信
20:44.566–20:47.133
zh录屏分析提供了另一条诊断线
录屏分析提供了另一条诊断线
20:47.566–20:48.800
zh界面一闪而过
界面一闪而过
20:48.800–20:51.066
zh单张截图可能抓不到问题
单张截图可能抓不到问题
20:51.333–20:53.066
zh录屏可以重建动画
录屏可以重建动画
20:53.133–20:55.333
zh弹窗和键盘出现的顺序
弹窗和键盘出现的顺序
20:55.566–20:58.066
zhOptimus把fempy列为依赖
Optimus把fempy列为依赖
20:58.300–21:00.533
zh就是为了处理这类时序信息
就是为了处理这类时序信息
21:00.733–21:03.400
zh移动端bug经常只存在几百毫秒
移动端bug经常只存在几百毫秒
21:03.800–21:06.100
zh日志里也未必留下明确错误
日志里也未必留下明确错误
21:06.200–21:08.933
zh不过录屏会扩大隐私范围
不过录屏会扩大隐私范围
21:09.466–21:12.200
zh测试账号的通知联系人头像
测试账号的通知联系人头像
21:12.200–21:14.700
zh和输入内容都可能进入文件
和输入内容都可能进入文件
21:15.333–21:18.000
zh团队需要在采集前关闭无关通知
团队需要在采集前关闭无关通知
21:18.266–21:19.600
zh使用合成数据
使用合成数据
21:19.600–21:21.566
zh并限制报告中的截图
并限制报告中的截图
21:21.733–21:23.666
zh代理自动收集越方便
代理自动收集越方便
21:23.866–21:25.600
zh数据治理越不能依靠
数据治理越不能依靠
21:25.600–21:27.366
zh测试人员临时判断
测试人员临时判断
21:27.566–21:29.533
zh权限边界还涉及ADB
权限边界还涉及ADB
21:29.800–21:31.300
zhADB能够安装应用
ADB能够安装应用
21:31.300–21:32.166
zh读取日志
读取日志
21:32.333–21:33.133
zh启动组件
启动组件
21:33.133–21:35.000
zh并执行系统命令权限
并执行系统命令权限
21:35.466–21:37.166
zh远高于普通用户操作
远高于普通用户操作
21:37.333–21:39.600
zhArtemis如果连接生产手机
Artemis如果连接生产手机
21:39.600–21:40.800
zh风险非常高
风险非常高
21:40.966–21:42.933
zh合理部署应使用专门
合理部署应使用专门
21:42.933–21:45.133
zh测试设备和隔离账号
测试设备和隔离账号
21:45.166–21:48.533
zhCI中的密钥也不能直接暴露给模型
CI中的密钥也不能直接暴露给模型
21:48.900–21:51.000
zh开源在这里提供了现实优势
开源在这里提供了现实优势
21:51.266–21:52.966
zh企业可以检查每个工具
企业可以检查每个工具
21:52.966–21:54.666
zh到底调用了什么命令
到底调用了什么命令
21:54.800–21:57.400
zh也能删掉不需要的高风险能力
也能删掉不需要的高风险能力
21:57.600–22:00.500
zh闭源手机代理只给出服务界面
闭源手机代理只给出服务界面
22:00.600–22:02.866
zh用户很难确认数据流向
用户很难确认数据流向
22:03.166–22:06.500
zhOptimus把设备驱动和代理逻辑公开
Optimus把设备驱动和代理逻辑公开
22:06.800–22:08.466
zh至少让安全团队有
至少让安全团队有
22:08.466–22:10.300
zh审计和改造的入口
审计和改造的入口
22:10.366–22:12.466
zh开源也带来维护压力
开源也带来维护压力
22:12.900–22:14.866
zh仓库没有正式版本标签
仓库没有正式版本标签
22:15.166–22:18.133
zh当前项目迭代集中在很短时间内
当前项目迭代集中在很短时间内
22:18.700–22:19.733
zh依赖很多
依赖很多
22:19.933–22:23.100
zh既有LANGGRAPH和多家模型SDK
既有LANGGRAPH和多家模型SDK
22:23.200–22:27.100
zh也有ADB UI Automator和图像处理组件
也有ADB UI Automator和图像处理组件
22:27.533–22:29.933
zh任何上游变化都可能影响安装
任何上游变化都可能影响安装
22:30.133–22:32.300
zh9,000多个星标代表关注度
9,000多个星标代表关注度
22:32.400–22:34.366
zh不等于长期维护承诺
不等于长期维护承诺
22:34.533–22:36.466
zh开发者在实际采用前
开发者在实际采用前
22:36.566–22:38.700
zh需要先跑自己的小型评测
需要先跑自己的小型评测
22:39.366–22:41.800
zh选择10-20条最关键流程
选择10-20条最关键流程
22:42.300–22:45.466
zh分别记录成功率平均耗时
分别记录成功率平均耗时
22:45.666–22:47.900
zh模型费用和人工干预次数
模型费用和人工干预次数
22:48.000–22:49.200
zh只看Android world
只看Android world
22:49.766–22:52.100
zh总分无法回答企业自己的登录
总分无法回答企业自己的登录
22:52.100–22:54.800
zh支付和权限页面能不能稳定运行
支付和权限页面能不能稳定运行
22:54.966–22:57.066
zh失败类型也应分开统计
失败类型也应分开统计
22:57.866–23:00.466
zh模型找不到控件属于感知问题
模型找不到控件属于感知问题
23:00.766–23:02.933
zh计划走错属于推理问题
计划走错属于推理问题
23:03.566–23:05.800
zh应用崩溃属于产品问题
应用崩溃属于产品问题
23:06.266–23:08.366
zh网路超时则是环境问题
网路超时则是环境问题
23:08.466–23:10.566
zh把所有失败压成一个百分比
把所有失败压成一个百分比
23:10.800–23:13.800
zh团队不知道该修提示词换模型
团队不知道该修提示词换模型
23:13.933–23:15.600
zh还是修改应用本身
还是修改应用本身
23:15.733–23:19.333
zhAtemis有时最有价值的结果是暴露
Atemis有时最有价值的结果是暴露
23:19.333–23:22.066
zh产品不利于自动化和无障碍访问
产品不利于自动化和无障碍访问
23:22.700–23:24.866
zh通过本身反倒没那么重要
通过本身反倒没那么重要
23:24.933–23:26.700
zh一个按钮没有语义标签
一个按钮没有语义标签
23:26.966–23:28.533
zh模型只能猜坐标
模型只能猜坐标
23:29.100–23:30.166
zh视障用户的屏幕
视障用户的屏幕
23:30.166–23:31.900
zh阅读器也可能无法识别
阅读器也可能无法识别
23:32.000–23:33.766
zh代理测试会反过来推动
代理测试会反过来推动
23:33.766–23:35.900
zh开发者补齐控件描述
开发者补齐控件描述
23:36.133–23:38.466
zh最终改善真实用户体验
最终改善真实用户体验
23:38.500–23:41.200
zh这让它与传统视觉测试形成区别
这让它与传统视觉测试形成区别
23:42.000–23:43.533
zh截图对比擅长发现
截图对比擅长发现
23:43.533–23:45.900
zh颜色位置和布局变化
颜色位置和布局变化
23:46.333–23:49.333
zh而Temis更擅长判断任务能不能完成
而Temis更擅长判断任务能不能完成
23:49.666–23:52.366
zh前者告诉团队按钮移动了5个像素
前者告诉团队按钮移动了5个像素
23:52.500–23:53.933
zh后者告诉团队用户
后者告诉团队用户
23:53.933–23:55.600
zh已经无法完成退款
已经无法完成退款
23:55.766–23:57.266
zh两类测试结合
两类测试结合
23:57.366–23:58.733
zh覆盖面才完整
覆盖面才完整
23:58.933–24:00.766
zh市场上也不只有Artemis
市场上也不只有Artemis
24:00.766–24:04.733
enfinal run auto device droid run uitas
final run auto device droid run uitas
24:05.000–24:06.966
zh和多种computer use模型都
和多种computer use模型都
24:06.966–24:08.800
zh在争夺移动代理入口
在争夺移动代理入口
24:08.866–24:11.400
zh他们选择不同模型和规划架构
他们选择不同模型和规划架构
24:11.500–24:12.966
zh公开程度也不同
公开程度也不同
24:13.133–24:15.300
zh99.1%的领先
99.1%的领先
24:15.400–24:17.100
zh如果不能被持续复现
如果不能被持续复现
24:17.200–24:20.300
zh很快就会被下一轮模型和工具改写
很快就会被下一轮模型和工具改写
24:20.466–24:23.100
zhGoogle开源这套框架还有生态意义
Google开源这套框架还有生态意义
24:23.500–24:25.466
zhAndroid开发者可以围绕它增加
Android开发者可以围绕它增加
24:25.466–24:28.533
zh设备驱动行业任务和验证插件
设备驱动行业任务和验证插件
24:28.800–24:30.500
zh模型公司也能把它作为
模型公司也能把它作为
24:30.500–24:32.600
zh计算机操作能力的试验场
计算机操作能力的试验场
24:32.600–24:35.500
zh一个共同框架如果形成移动代理
一个共同框架如果形成移动代理
24:35.566–24:37.300
zh就不必每家公司都从
就不必每家公司都从
24:37.300–24:39.366
zh截图和点击重新造轮子
截图和点击重新造轮子
24:39.366–24:42.166
zh可共同框架必须建立可信治理
可共同框架必须建立可信治理
24:42.600–24:44.600
zh贡献代码需要清楚来源
贡献代码需要清楚来源
24:44.866–24:47.166
zh排行榜需要公开测试条件
排行榜需要公开测试条件
24:47.333–24:49.666
zh安全漏洞需要有响应流程
安全漏洞需要有响应流程
24:49.800–24:51.566
zhminitab争议已经说明
minitab争议已经说明
24:51.700–24:53.566
zh技术社区不仅看功能
技术社区不仅看功能
24:53.566–24:56.400
zh也看维护者如何处理他人的劳动
也看维护者如何处理他人的劳动
24:56.466–24:58.866
zhGoogle后来补上署名是必要修正
Google后来补上署名是必要修正
24:58.966–25:01.000
zh公开解释仍然同样重要
公开解释仍然同样重要
25:01.533–25:04.333
zhArtemis未来若接入Android studio
Artemis未来若接入Android studio
25:04.666–25:07.266
zh开发者可以在IDE里选中一个界面
开发者可以在IDE里选中一个界面
25:07.366–25:09.566
zh直接生成并运行设备任务
直接生成并运行设备任务
25:10.100–25:11.766
zh这个设想很有吸引力
这个设想很有吸引力
25:11.766–25:13.800
zh但插件目前还在路线图
但插件目前还在路线图
25:13.866–25:16.666
zh现阶段仍要通过命令行网页
现阶段仍要通过命令行网页
25:16.666–25:19.266
zh控制台或MCP连接部署体验
控制台或MCP连接部署体验
25:19.466–25:20.900
zh更适合愿意处理
更适合愿意处理
25:20.900–25:22.666
zh环境配置的技术团队
环境配置的技术团队
25:22.900–25:25.000
zh实时语音也尚未完成
实时语音也尚未完成
25:25.400–25:26.566
zh即使以后上线
即使以后上线
25:26.800–25:28.100
zh它的意义也不只是
它的意义也不只是
25:28.100–25:29.933
zh说一句话控制手机
说一句话控制手机
25:30.566–25:32.533
zh双向语音要求代理在
双向语音要求代理在
25:32.533–25:34.500
zh操作过程中报告进度
操作过程中报告进度
25:35.333–25:37.100
zh用户能够随时打断
用户能够随时打断
25:37.200–25:39.100
zh并在敏感步骤确认
并在敏感步骤确认
25:39.166–25:40.800
zh没有可靠中断机制
没有可靠中断机制
25:41.466–25:44.066
zh语音只会让错误操作更难阻止
语音只会让错误操作更难阻止
25:44.266–25:45.333
zh长期来看
长期来看
25:45.500–25:47.366
zh手机代理可能从测试
手机代理可能从测试
25:47.366–25:49.333
zh工具进入运维和客服
工具进入运维和客服
25:49.766–25:51.800
zh客服人员接到用户问题后
客服人员接到用户问题后
25:51.800–25:54.500
zh可以在隔离设备上复现相同路径
可以在隔离设备上复现相同路径
25:54.800–25:57.100
zh应用商店审核可以自动
应用商店审核可以自动
25:57.100–25:59.000
zh探索权限和订阅流程
探索权限和订阅流程
25:59.366–26:01.166
zh企业内部还能检查不同
企业内部还能检查不同
26:01.166–26:03.300
zh版本是否出现行为变化
版本是否出现行为变化
26:03.600–26:04.700
zh这些场景都需要
这些场景都需要
26:04.700–26:06.666
zh明确授权和受控环境
明确授权和受控环境
26:06.900–26:09.366
zh不能直接拿真实用户账户试验
不能直接拿真实用户账户试验
26:09.533–26:11.200
zh最有争议的想象是让
最有争议的想象是让
26:11.200–26:13.066
zh代理自行发现漏洞
代理自行发现漏洞
26:13.266–26:14.666
zh它能够遍历界面
它能够遍历界面
26:14.666–26:15.933
zh输入异常内容
输入异常内容
26:15.933–26:17.966
zh观察崩溃并读取日志
观察崩溃并读取日志
26:18.166–26:20.166
zh确实具备一定探索能力
确实具备一定探索能力
26:20.366–26:23.266
zh公开项目的目标是测试和诊断
公开项目的目标是测试和诊断
26:23.866–26:26.600
zh不等于授权代理攻击第三方应用
不等于授权代理攻击第三方应用
26:26.766–26:28.666
zh使用边界仍由操作者和
使用边界仍由操作者和
26:28.666–26:30.333
zh目标系统的许可决定
目标系统的许可决定
26:30.500–26:32.200
zh它对普通用户也有潜力
它对普通用户也有潜力
26:32.566–26:34.066
zh视障人士可以用自然
视障人士可以用自然
26:34.066–26:36.133
zh语言完成复杂应用操作
语言完成复杂应用操作
26:36.400–26:37.666
zh老人可以减少在
老人可以减少在
26:37.666–26:39.533
zh多层菜单中寻找按钮
多层菜单中寻找按钮
26:39.933–26:42.966
zh重复性手机任务可以交给代理不过
重复性手机任务可以交给代理不过
26:43.200–26:46.066
zh项目当前的产品形态面向开发者
项目当前的产品形态面向开发者
26:46.166–26:48.300
zh需要配置Python模型
需要配置Python模型
26:48.333–26:51.100
zh密钥ADB和无障碍权限
密钥ADB和无障碍权限
26:51.266–26:53.533
zh距离大众助手还有明显距离
距离大众助手还有明显距离
26:53.733–26:56.733
zhArtemis真正释放出的信号是AI
Artemis真正释放出的信号是AI
26:56.733–26:59.100
zh代理开始从浏览器走进设备
代理开始从浏览器走进设备
26:59.566–27:02.733
zh网页有DOM和相对统一的交互结构
网页有DOM和相对统一的交互结构
27:02.866–27:04.566
zh手机应用更加封闭
手机应用更加封闭
27:04.700–27:06.000
zh一个开源框架能够
一个开源框架能够
27:06.000–27:07.733
zh跨应用完成长流程
跨应用完成长流程
27:07.900–27:10.500
zh说明多模态模型工具调用和
说明多模态模型工具调用和
27:10.500–27:12.933
zh状态管理已经组合到新的阶段
状态管理已经组合到新的阶段
27:13.400–27:14.966
zh这个阶段仍然粗糙
这个阶段仍然粗糙
27:15.333–27:16.766
zh速度按秒计算
速度按秒计算
27:16.866–27:19.300
zh复杂模式一步可能接近1分钟
复杂模式一步可能接近1分钟
27:19.533–27:22.400
zh权限配置不当会带来安全风险
权限配置不当会带来安全风险
27:22.700–27:25.066
zh基准成绩缺少完整独立验证
基准成绩缺少完整独立验证
27:25.200–27:27.100
zh开源署名还发生过争议
开源署名还发生过争议
27:27.600–27:29.300
zh它没有资格被包装成
它没有资格被包装成
27:29.300–27:30.966
zh成熟的手机操作系统
成熟的手机操作系统
27:30.966–27:32.733
zh代理可它也不是一次
代理可它也不是一次
27:32.733–27:34.566
zh无关紧要的代码发布
无关紧要的代码发布
27:35.000–27:37.066
zhGoogle把项目放在公开仓库
Google把项目放在公开仓库
27:37.266–27:39.400
zh使用Apache 2.0许可证
使用Apache 2.0许可证
27:39.600–27:41.366
zh开发者可以检查实现
开发者可以检查实现
27:41.500–27:42.300
zh替换模型
替换模型
27:42.300–27:43.866
zh并接入自己的设备
并接入自己的设备
27:44.166–27:47.300
zh开源让外界有机会复测99.1%
开源让外界有机会复测99.1%
27:47.333–27:50.200
zh也让代码来源问题无法被藏起来
也让代码来源问题无法被藏起来
27:50.400–27:53.366
zh它同时接受技术检验和社区审查
它同时接受技术检验和社区审查
27:53.566–27:55.866
zh接下来最值得观察的是三件事
接下来最值得观察的是三件事
27:56.066–27:58.766
zhGitHub星标能涨到多少并不关键
GitHub星标能涨到多少并不关键
27:59.200–28:03.300
zh独立团队能否复现接近99.1%的结果
独立团队能否复现接近99.1%的结果
28:03.666–28:05.400
zh企业能否在真实应用
企业能否在真实应用
28:05.400–28:07.300
zh中稳定运行长流程
中稳定运行长流程
28:07.600–28:09.500
zh以及维护者能否持续
以及维护者能否持续
28:09.500–28:11.666
zh处理安全与署名问题
处理安全与署名问题
28:11.866–28:13.000
zh任何一项失败
任何一项失败
28:13.166–28:15.466
zhOptimus都可能停留在演示阶段
Optimus都可能停留在演示阶段
28:15.700–28:17.333
zh如果三项都能过关
如果三项都能过关
28:17.366–28:19.900
zh移动开发会发生一次实质变化
移动开发会发生一次实质变化
28:20.200–28:23.100
zh编程代理将不再只盯着代码和终端
编程代理将不再只盯着代码和终端
28:23.533–28:24.966
zh他能拿起一台手机
他能拿起一台手机
28:24.966–28:27.566
zh用用户的方式检查自己的作品
用用户的方式检查自己的作品
28:27.700–28:30.666
zh测试脚本也不必把每个坐标写死
测试脚本也不必把每个坐标写死
28:30.866–28:32.533
zh目标和验证条件会
目标和验证条件会
28:32.533–28:34.133
zh成为新的核心资产
成为新的核心资产
28:34.133–28:35.933
zh所以Artemis最重要的
所以Artemis最重要的
28:35.933–28:37.766
zh地方不是AI会点手机了
地方不是AI会点手机了
28:38.100–28:39.366
zh真正的变化是
真正的变化是
28:39.400–28:42.366
zhAI第一次有机会把理解需求修改
AI第一次有机会把理解需求修改
28:42.366–28:45.500
zh代码操作设备和验证结果连成闭环
代码操作设备和验证结果连成闭环
28:45.700–28:49.000
zh99.1%只是吸引注意力的数字
99.1%只是吸引注意力的数字
28:49.533–28:50.800
zh能不能把这个闭环
能不能把这个闭环
28:50.866–28:53.133
zh稳定放进真实开发流程
稳定放进真实开发流程
28:53.266–28:55.500
zh才决定它会成为基础工具
才决定它会成为基础工具
28:55.600–28:58.000
zh还是另一个跑分漂亮的开源项目
还是另一个跑分漂亮的开源项目
影片筆記：谷歌瘋了！一句話讓AI接管手機？Artemis 震撼開源，99.1% 成功率嚇死人！😱🤖
<!-- VIDEONOTE_PUBLICATION_WARNINGS_BEGIN -->
⚠️ 可先使用，仍有待修正項目
本筆記已完成可閱讀的逐字稿與時間跳轉；下列為待處理問題，建議播放原片確認。
- 待修正：逐字稿全文快速校讀未完成（已保留自動字幕/原始逐字稿並繼續生成筆記。；未完成的全文速讀項目可在精進模式回聽確認。）
<!-- VIDEONOTE_PUBLICATION_WARNINGS_END -->
一句話總結
Google 開源 Android AI 自動化框架 Artemis，透過結合無障礙層級結構與視覺模型，提供「Flash」與「Pro」兩種執行模式，旨在實現自然語言指令下的跨應用自動化操作；該系統在 Android World 基準測試中達到 99.1% 成功率，但面臨跑分適配性、代碼來源合規性（Minitab 爭議）及高權限帶來的安全隱私風險等挑戰。
核心重點
- Artemis 系統架構：
- 旨在通過自然語言指令，在真實 Android 設備或模擬器上執行跨應用任務。
- 混合定位策略：優先使用 Android 無障礙層級結構（Accessibility Tree），結構不足時結合視覺模型（OCR/坐標）補位。
- 雙執行模式：
- Flash 模式：追求速度（每步 3-5 秒），適合短流程，採用「觀察-行動」循環。
- Pro 模式：追求可靠性（每步 15-40 秒），採用多代理架構（Planner/Operator/Checker），具備規劃、執行與檢查分離機制。
- 開發者集成與工作流：
- 通過 MCP 服務器連接 AI 編程工具（如 Claude Code, Windsurf），實現「代碼修改-真機驗證-日誌反饋」的閉環。
- 提供 CLI、Python SDK 及本地網頁控制台，可接入 CI/CD 流程。
- 基準測試與爭議：
- Android World 環境：Google Research 推出的公開環境，Artemis 在此達到 99.1% 任務完成率。
- 局限性：該環境使用固定系統版本和預設應用，無法覆蓋真實手機的複雜情況（如廠商定制界面、廣告彈窗）。
- 代碼來源爭議：被指包含 Minitab 團隊的
mobileuse代碼，初期未清晰署名，後經補充修正。
- 安全、隱私與風險：
- 高權限風險：ADB 擁有安裝應用、讀取日誌等高權限，連接生產手機風險極高，建議使用隔離設備。
- 提示詞注入：應用頁面可顯示惡意文字誘導 AI。
- 數據隱私：錄屏分析可能擴大隱私範圍，需限制截圖與使用合成數據。
詳細大綱
I. Artemis 系統架構與核心技術
- 基本定義與目標
- 面向真實 Android 手機或模擬器。
- 通過自然語言描述任務，AI 觀察屏幕、尋找控件、執行點擊/輸入，並根據界面變化決定下一步。
- 區別於傳統自動化：不依賴預先寫死的控件選擇器，而是應對動態變化的圖形界面。
- 定位與執行策略
- 結構優先：讀取 Android 無障礙層級（Accessibility Hierarchy），獲取文字、控件類型和可操作區域。
- 視覺補位：當結構信息不足（如 Flutter/Compose 繪製界面、遊戲界面）時，使用坐標 OCR 和視覺模型。
- Safety Net（安全網）：在模型思考期間，若界面狀態變化導致目標消失，阻止操作並交回 Operator。
- 連續動作突發：針對短暫顯示的菜單，連續發送確定動作以縮短模型往返延遲。
- 執行模式對比
- Flash 模式：
- 機制：觀察一次 -> 行動一次 -> 再次觀察。
- 速度：每步 3-5 秒。
- 優點：靈活，能應對意外彈窗。
- 缺點：缺乏全局檢查，長流程中單步錯誤會累積導致最終狀態不符。
- Pro 模式：
- 機制：多代理圖架構，分為 Planner（規劃）、Operator（操作）、Checker（檢查）。
- 速度：每步 15-40 秒。
- 特點：
- Planner 維護持續更新的任務計劃，標記里程碑。
- Operator 調用完整工具集（讀取結構、截圖、ADB 診斷、歷史檢索）。
- Checker 保持只讀，負責在關鍵節點和結束時檢查最終狀態，避免執行者自證成功。
- 支持失敗恢復：創建執行事件保留失敗原因，直到操作恢復。
II. 開發者集成與工作流變革
- MCP 服務器集成
- Artemis 自帶 MCP 服務器，可連接支持 MCP 的開發工具（如 Antigravity, Claude Code, Windsurf）。
- 編程代理可看到應用實際運行後的界面，並操作設備驗證修改。
- 閉環測試流程
- 場景：用戶報告按鈕無反應 -> 代理安裝測試版本 -> 觸發結賬 -> 截取錯誤界面 -> 讀取 Logcat 異常 -> 修改代碼 -> 重新執行流程。
- 意義：將「寫代碼」、「跑手機」、「看日誌」串聯為同一工作流，驗證推進到設備層。
- 工具與接口
- 提供 CLI、Python SDK（可接入 pytest 和 CI 流程）、本地網頁控制台。
- 快速啟動腳本準備 ADB、ffmpeg 和 Python 依賴。
- 首次運行需在設備安裝
Artemis accessibility helper（讀取屏幕佈局，僅本地監聽）。 - 若輔助服務失效，可回退到
uiautomator。
III. 基準測試與跑分爭議
- Android World 環境
- Google Research 推出的公開環境，包含 116 項手工設計任務，覆蓋 20 個應用。
- 通過隨機參數生成大量變化，檢查設備最終狀態，不接受模型自證完成。
- Artemis 在此環境下達到 99.1% 任務完成率。
- 跑分的局限性
- Android World 使用固定系統版本和預設應用，無法覆蓋真實手機的廠商定制界面、廣告彈窗、登錄驗證等混亂情況。
- 成績屬於團隊自曝，公開排行榜接受社區提交但未完整復現所有運行。
- 存在適配風險：團隊可能針對常見應用和失敗模式優化提示詞和恢復邏輯。
- 代碼來源爭議
- Minitab 團隊在 GitHub 提出異議，稱 Artemis 倉庫包含其開源項目
mobileuse的代碼。 - 證據：早期提交顯示
mobileuse版本號 3.6.3 及原作者姓名，後續提交替換了作者信息但保留大量文件。 - 共享內容涉及：ADB 隧道、規劃輔助函數、應用鎖定工具、代理提示詞和 SDK 示例。
- 爭議焦點：Apache 2.0 許可證允許修改和商業使用，但要求保留版權及許可說明。問題在於是否完整履行署名義務，以及為何最初移除原作者信息。
- 現狀：倉庫已補充說明，明確包含 Minitab 開發的源代碼，相關文件增加版權和來源標記。GitHub 議題已關閉。
IV. 安全、隱私與企業部署
- 權限與風險
- ADB 擁有安裝應用、讀取日誌、啟動組件和執行系統命令的高權限。
- 連接生產手機風險極高，建議使用專門測試設備和隔離賬戶。
- CI 中的密鑰不能直接暴露給模型。
- 提示詞注入
- 應用頁面可顯示專門寫給 AI 的文字，誘導其忽略測試目標或洩露信息。
- Safety Net 能檢查目標位置，但未必能識別內容本身的惡意意圖。
- 數據治理與隱私
- 錄屏分析（依賴 ffmpeg）可重建動畫和彈窗順序，但會擴大隱私範圍（通知、頭像、輸入內容）。
- 團隊需在採集前關閉無關通知，使用合成數據，並限制報告中的截圖。
- 開源的雙面性
- 優勢：企業可檢查每個工具調用的命令，刪除不需要的高風險能力。
- 劣勢：依賴複雜（LangGraph, 多家模型 SDK, ADB, UI Automator, 圖像處理），上游變化可能影響安裝。
- 建議：開發者應先進行小型評測，記錄成功率、耗時、費用和人工干預次數。
V. 未來展望與生態意義
- 技術路線圖
- Android Studio 原生插件（未完成）。
- iOS 擴展（計劃中，難度在於後台運行和權限控制更嚴格）。
- 端側輕量視覺模型（減少數據外傳，但能力可能下降）。
- 實時雙向語音控制（尚未正式交付，需可靠中斷機制）。
- 生態意義
- 為 Android 開發者提供設備驅動和行業任務插件的基礎。
- 為模型公司提供計算機操作能力的試驗場。
- 避免每家公司從截圖和點擊重新造輪子。
- 長期影響
- 移動代理可能從測試工具進入運維和客服（隔離設備復現路徑、應用商店審核自動探索）。
- 對普通用戶的潛力：視障人士自然語言操作，老人減少菜單查找。
- 核心變化的本質：AI 第一次有機會把「理解需求、修改代碼、操作設備、驗證結果」連成閉環。
- 結論：99.1% 只是吸引注意力的數字，能否穩定放入真實開發流程才決定其價值。
工具 / 模型 / 名詞整理
- 核心項目：
- Artemis：Google 開源的 Android AI 自動化框架。
- *註：逐字稿中部分段落提及為 Optimus 或 Athena，疑為口誤或聽寫錯誤，以 Artemis 為主體名稱。*
- Google 相關：
- Android World：Google Research 推出的公開基準測試環境。
- Gemini：Google 的多模態模型。
- Android Studio：Android 開發環境。
- ADB (Android Debug Bridge)：Android 調試橋接工具。
- UI Automator：Android UI 自動化測試框架。
- AI 模型/服務：
- Claude：Anthropic 開發的 AI 模型。
- GPT-4o：OpenAI 開發的多模態模型。
- 千問 VL (Qwen VL)：阿里雲開發的多模態模型。
- 多模態模型 (Multimodal Models)：能處理視覺和文本輸入的模型。
- 輕量視覺模型 (Lightweight Visual Models)：計劃用於端側部署的模型。
- 開發工具/框架：
- MCP (Model Context Protocol)：模型上下文協議，用於連接 AI 與工具。
- Antigravity：支持 MCP 的開發工具。
- Claude Code：Anthropic 的 AI 編程助手。
- Windsurf：支持 MCP 的開發工具。
- Python SDK：Artemis 提供的 Python 開發套件。
- pytest：Python 測試框架。
- LangGraph：用於構建多代理圖架構的庫。
- CLI (Command Line Interface)：命令行界面。
- ffmpeg：用於錄屏分析的媒體框架。
- Accessibility Helper：Artemis 安裝在設備上的輔助服務，用於讀取屏幕佈局。
- 競爭/相關項目：
- Minitab：提出異議的團隊名稱（疑點見下文）。
- Mobileuse：Minitab 的開源項目，被指包含在 Artemis 中。
- *註：逐字稿中列舉競爭項目時名稱模糊，可能包含 Final Run, Auto Device, Droid Run, UITest 等。*
- 技術概念：
- Accessibility Hierarchy / Tree：無障礙層級/樹，用於獲取控件結構信息。
- OCR (Optical Character Recognition)：光學字符識別，用於視覺補位。
- Logcat：Android 日誌系統。
- Flutter / Compose / Canvas：界面繪製技術，可能導致結構信息不足。
- Apache 2.0：許可證類型。
操作流程整理
- 環境準備：
- 安裝 ADB、ffmpeg 和 Python 依賴。
- 在目標 Android 設備或模擬器上安裝
Artemis accessibility helper。 - 確保設備連接至開發環境。
- 任務定義與執行：
- Flash 模式：
- AI 觀察屏幕結構。
- 執行單步操作（點擊/輸入）。
- 再次觀察屏幕變化。
- 循環直至任務完成（適合短流程，每步 3-5 秒）。
- Pro 模式：
- Planner：制定任務計劃，標記里程碑。
- Operator：調用工具集（讀取結構、截圖、ADB 診斷）執行操作。
- Checker：在關鍵節點和結束時檢查最終狀態（只讀，不執行操作）。
- 若失敗，記錄原因並嘗試恢復（適合長流程，每步 15-40 秒）。
- 開發者集成流程：
- 通過 MCP 服務器連接 AI 編程工具（如 Claude Code）。
- 代理觀察應用實際運行界面。
- 代理操作設備驗證修改。
- 讀取 Logcat 日誌以調試。
- 修改代碼並重新執行流程，形成閉環。
- 基準測試流程 (Android World)：
- 從 116 項手工設計任務中選擇任務。
- 隨機生成參數以覆蓋不同應用狀態。
- Artemis 執行任務。
- 檢查設備最終狀態（不接受模型自證完成）。
- 記錄成功率（目標為 99.1%）。
值得注意的限制或風險
- 跑分適配性風險：
- 99.1% 的成功率僅限於 Android World 環境，該環境使用固定系統版本和預設應用。
- 無法覆蓋真實手機的廠商定制界面、廣告彈窗、登錄驗證等複雜情況。
- 存在團隊針對常見應用和失敗模式優化提示詞和恢復邏輯的適配風險。
- 代碼來源與合規性：
- Artemis 被指包含 Minitab 團隊的
mobileuse代碼。 - 初期未清晰署名原作者，後經補充修正。
- 需確認是否完整履行 Apache 2.0 許可證的署名義務。
- 安全與隱私風險：
- 高權限：ADB 擁有安裝應用、讀取日誌等高權限，連接生產手機風險極高，建議使用隔離設備。
- 提示詞注入：應用頁面可顯示惡意文字誘導 AI 忽略測試目標或洩露信息。
- 數據隱私：錄屏分析可能擴大隱私範圍（通知、頭像、輸入內容），需限制截圖與使用合成數據。
- 技術依賴複雜性：
- 依賴 LangGraph、多家模型 SDK、ADB、UI Automator、圖像處理等，上游變化可能影響安裝與穩定性。
- 真實場景穩定性：
- 99.1% 僅為基準測試數字，能否穩定放入真實開發流程尚待驗證。
逐字稿辨識疑點
- 名稱不一致：
- 逐字稿中多次出現「Artemis」，但也出現「Athena」（例如：「Athena觀察屏幕」）、「Optimus」（例如：「Optimus嘗試把这部分维护工作交给多模态模型」、「Optimus自带MCP服务器」）。
- *標註*：需查證 Artemis 系統內部組件或代理是否另有名稱，或為口誤。
- 項目名稱拼寫：
- 「minitab」：逐字稿中出現「minitab團隊」和「minitype列出的證據」。
- *標註*：需查證該團隊準確名稱是否為 Minitab 或其他。
- 「PI project Tamo」：逐字稿中提到「早期PI project Tamo曾出现 Mobile use的版本号」。
尚未產生學習筆記
請在 Telegram 指令最後加上「學習」，例如：videonote 網址 英文 雙語 學習