前两天,世超玩到了一个很有意思的手机助手

虽然还很不成熟,甚至可以说简陋。但是,世超随手录了几段发到了群里,直接收获一堆来自数码编辑们的惊叹。

 “ 它是怎么做到的? ” 

会自己逛淘宝发红包 这个语音助手有点越界。。。 第1张

现在,我就把这几段素材分享出来,给差友们也看看。

在世超的素材里,这个助手做到了像人一样理解指令,并且完美操作了手机。

这个操作完美到什么程度呢。现在我正吃着的这碗香气扑鼻的大面条,就是这个助手给我点的,全程我几乎没有插手。

会自己逛淘宝发红包 这个语音助手有点越界。。。 第2张

我只和它说, “ 我想吃次坞阿生手打面的红烧小排面了。 ” 

接着,它就开始在我手机上操作了。熟练地退出对话界面,在一堆花花绿绿的应用中,调出点饭的那个黄色袋鼠头。

而且,我的指令里没说要吃哪家。它找到好几家后,知道向我二次确认店家信息。

在得到第一家的答复后,进店、搜索、加购,就这么丝滑地帮我点上了。

 当然了,出于安全考虑,付钱的这步还得我们自己来。但其他部分,基本不需要我们插手。

会自己逛淘宝发红包 这个语音助手有点越界。。。 第3张

后面还有更神奇的。最近编辑部的一位好朋友拿了块 B 站的百万粉丝小牌牌,半个办公室的同事都排着队跟他合照,整个朋友圈都被刷屏了。我实在嫌一个一个点赞留言实在太麻烦了,就试着让它帮我一步到位。

 “ 帮我给小发最新朋友圈点赞,并且写一串彩虹屁。 ” 它不仅精准地找到了小发,甚至还知道偷懒用缩写的 xf 搜。点进朋友圈,找到了最上面一条,然后轻轻送上一个赞。并且,在评论区留了一串,我这辈子也憋不出来的彩虹屁。

会自己逛淘宝发红包 这个语音助手有点越界。。。 第4张

看到这,可能很多差友们开始好奇,世超到底用的啥手机。怎么感觉聪明程度,和自己手机上的助手不是一个级别的?其实它不是 Siri 这种手机自带的手机助手,而是世超前两天从智谱那里薅来的 AI AutoGLM,一个手机上的 AI 助手。

 感兴趣的可以申请内测试试,不过目前还只支持安卓,果子用户们还得等等了。它这种操控手机的设定,这和前几天刷屏的 Claude 3.5 的新能力不谋而合了。Claude 3.5 也可以做到控制电脑,甚至能自己在电脑上玩数独( 玩得很烂 )。

会自己逛淘宝发红包 这个语音助手有点越界。。。 第5张

而智谱的 AutoGLM 则是可以控制手机。不需要我们设定什么工作流,什么都不需要设置,只需要说话。读到这,是不是觉得有点贾维斯那意思了?

 不过,作为一个外来应用,智谱助手要想达到上面这些操作,方法还比较粗暴,只能通过获取我们的无障碍权限。这个权限可以让应用模拟我们的操作,来控制我们的手机。面向老年人的平安通,用的也是类似的权限。

会自己逛淘宝发红包 这个语音助手有点越界。。。 第6张

有了畅通无阻的权限,再加上 AI 的理解和对话能力的加持。使得智谱的助手,可以完美复刻我们很多的操作。在微信上,它能发消息、转账、发红包、朋友圈点赞,关注账号,阅读账号内容并且总结等等等等。

 像给你的老婆发个情人节精美小作文,或者给你的老板发段彩虹屁。你指令给的不准,它也能懂。说句 “ 让火锅赶紧下楼, ” 它就知道要发下楼。

会自己逛淘宝发红包 这个语音助手有点越界。。。 第7张

再比如赏火锅个 5 块钱红包,也是大手一挥,大气至极。( 素材演示,实际并未转账 )还好付钱得手动结账,不然真怕啥时候口误,就不知道便宜谁了。

会自己逛淘宝发红包 这个语音助手有点越界。。。 第8张

像导航软件,打车、搜攻略,导航这些最简单的,都是指哪打哪。它也能理解各种应用里的内容,像让它去小红书上找个什么攻略,并且总结一下。

会自己逛淘宝发红包 这个语音助手有点越界。。。 第9张

很多以前压根不会让手机助手做的事,现在我都敢张嘴,试着让它给我办办看。就比如世超现在岁数小涨,就经常容易忘事。家里的牙膏没了,餐巾纸要买了,或者是某个东西坏了。

我前脚刚说:哎,这东西得记得买了。结果一转头,马上把这茬忘了。就算点开了淘宝,要是中途一个消息弹出来,就再不可能点回来。

所以我家水壶,现在已经坏了半个月了。。。这回我路过看到那个盖子坏了的水壶,只用打开手机说: “ 给我买一个上次买过的浇水壶。 ” 然后再点击付款就完成了。

会自己逛淘宝发红包 这个语音助手有点越界。。。 第10张

你还能把大模型的能力也用起来,它不仅能写朋友圈的彩虹屁,也能给你写出几十、上百字的商品好评。

会自己逛淘宝发红包 这个语音助手有点越界。。。 第11张

不过,试用中,世超也发现了这种模拟点击的操作方法存在的问题:如果遇到弹窗,智谱这个助手就傻眼了

 要么直接点进广告里去了;要么聪明点,等到弹窗消失;如果遇到必须手动 x 掉的广告,它就只能求助于我们。你以为它完全自动化了,结果却突然要你手动操作一下,这就让人格外难受了。

会自己逛淘宝发红包 这个语音助手有点越界。。。 第12张

几天试下来,类似这样的小毛病,大大小小也遇到不少。世超一直常用的外卖软件其实是饿了么,导致我一开始让它帮我点饭,它直接就罢工了,说我没磨硬拉,连点饭 APP 都没有就让它干。

会自己逛淘宝发红包 这个语音助手有点越界。。。 第13张

这是由于还在内测,所以支持的软件数量还比较少。操作起来也不稳定,现在能用的功能,主要还是集中在下面这几块。

会自己逛淘宝发红包 这个语音助手有点越界。。。 第14张

很多系统级别的任务,像换个壁纸,目前它还做不到。让它去支付宝里,给你偷能量、喂小鸡,它也会无奈地说自己不会( 这个建议赶紧上架,很需要 )。

 并且反问你:【 你确定要我干吗? 】。比如你如果非它试试,要么就是卡住不动,要么就是给你打开其他软件,来一场抽象瞎点。

会自己逛淘宝发红包 这个语音助手有点越界。。。 第15张

当然了,虽然有不少瑕疵,但这些和世超自己薅到的还是内测版有关。应用少、不稳定这些问题,以后都是可以慢慢解决的。我估计按照 AI 应用们卷的速度来看,到下个月这个工具就会大变样。

而且,让 AI 能操作工具,这事其实并不好做。尤其大模型的各种能力在实际落地执行的时候,很容易发生冲突,互相打架。这也是为什么大模型发展成这样了,能真正在手机上取代操作的 phone use 应用还是很少。不过,相信看到这里,不少差友心里一定有担心。

 作为一个第三方应用,获取这么高的系统权限,是不是会有风险?如果真的就这么光杆子把应用推到大家面前,也一定会因为风险和隐私问题受到质疑。解法之一可能是和主机厂商的深度合作。

而智谱在这一周,也已经官宣了和高通基于骁龙芯片的端侧大模型优化,还有和三星的战略合作。有种一切正按照计划走的即视感。总而言之世超觉得,如果说贾维斯,现在这个初始版的 AutoGLM 还是担不起。但给我们的手机助手来个超级加倍,确实是绰绰有余。

收藏(0)