就在AI智能体手机NaviX Ultra发布会前夕，努比亚方面在预热活动中公布了这款新机的大量AI功能。作为NaviX Ultra的AI能力供应商，豆包手机助手消费者版也同期亮相。相比于当初被全网“围剿”的豆包手机助手预览版，消费者版就充分汲取经验，推出了屏幕自动化操作声明协议（SAEP），允许第三方应用声明是否接受豆包AI助手在应用内进行屏幕自动化操作。
此次豆包手机助手消费者版还新增了屏幕问答能力，用户无需额外截图或切换应用，就可以让AI助手结合当前屏幕内容继续处理任务。在官方公布的示例场景中，用户打开相机对准室内环境，说出“根据这个装修风格，帮我选一个一米二以内、价格不超过一千元的柜子”，AI助手就可以结合画面和要求，在电商平台找到符合条件的商品。
据豆包方面介绍，第三方应用可通过SAEP协议明确允许或拒绝豆包手机助手的相关操作，而对于拒绝的应用，则将不进行自动化操作。开发者可以禁止登录页面的截图和模拟输入，也能允许AI助手辅助编辑内容，但限制其完成最终发送或发布，包括签到、抽奖、秒杀、积分及奖励领取，都能被列入可限制的操作范围。
第三方应用声明允许豆包手机助手进行自动化操作，并不代表可以跳过业务鉴权，对于被拒绝的操作，AI助手会停止执行任务，也不得换用其他通道绕过。不仅如此，SAEP协议还设计了操作日志查询机制，第三方应用可以查看与自身相关的操作记录，追溯AI助手的操作目标、决策和执行结果。
毕竟一朝被蛇咬十年怕井绳，当初豆包手机助手技术预览版在问世后被微信、淘宝、京东、美团以及一系列金融应用集体“拉黑”。彼时，豆包手机助手采用的是GUI Agent（图形界面智能体），核心能力是通过视觉理解与自然语言交互来实现自动化操作。
具体来说，此前的豆包手机助手技术预览版是通过Android系统的无障碍服务，向系统注入模拟的用户输入事件，从而实现模拟点击和读屏的效果，最终完成复杂的跨App连续操作。GUI路线的优势在于技术难度低，因为Android系统为残障人士提供的无障碍服务，就可以让AI轻松地感知手机上发生的每一件事。但它的缺陷同样突出，当人不再需要亲自操作手机时，消费互联网的底层逻辑也就发生了变化。
目前，大家熟知的消费互联网建立在一个前提之上，那就是用户亲自使用的互联网产品建立在为人类服务的基础上。我们会在产品经理设计好的界面里完成浏览、点击、输入，这个过程不仅会带来广告曝光、交易佣金、付费订阅，还沉淀了宝贵的行为数据。
在互联网厂商的视角下，App的数据和功能都是自己的资产，其他人不能染指，例如微信的聊天记录是腾讯的，淘宝的购物数据是阿里的，美团外卖的订单数据是美团的。然而豆包手机助手的核心是模拟人类操作，比如要求豆包手机助手买个自嗨锅，豆包会直接帮你在淘宝上比价后下单。
此时虽然自嗨锅卖出去了，但淘宝的开屏广告、商家购买的直通车广告都被豆包手机助手看了。将广告展示给AI，无疑就相当于给瞎子抛媚眼，所以互联网厂商当然就不干了。因此微信、淘宝等App抓住了GUI路线存在安全隐患这一缺陷，集体将其拒之门外。
然而开发豆包手机助手的字节跳动并未做手机，这就使得他们无法切换到OpenClaw、Workbuddy等智能体所采用的CLI（命令行界面）路线。如此一来，豆包手机助手就只能继续沿着GUI路线前进，用合作协议的方式一点点扩张业务版图。
SAEP协议的可行性体现在给予了第三方应用选择权，从而规避“举世皆敌”的窘境。可问题在于，第三方应用为什么会选择拥抱豆包手机助手，当初豆包手机助手被集体抵制不就是因为它伤害了友商的利益？对于微信、美团、淘宝等第三方应用来说，豆包手机助手的自动化操作对自身有害无益。
用户获得便捷并不等于自己能赚到钱，这就是豆包手机助手“扩大朋友圈”的最大难关。字节跳动需要想到一个让第三方应用也能通过豆包手机助手获益的方式，比如买量就是个不错的选项。
【本文图片来自网络】
