关于手机AI跑分:各自为政导致标准目前很难统一

随着下月底即将举行的MWC脚步临近,2019年智能手机的“百家争鸣”也即将再度拉开帷幕。除了试水意味浓厚的可折叠机型之外,5G应该也将是各大厂商发力的重点,因此也纷纷或明或暗的透露了自家5G产品的时间表。不过相比于注定在售价方面将会有所突破的5G和可折叠产品,显然如今常规的智能手机也更加贴合大多数用户的实际需求。

20190125171350_37796.jpg

但是在目前智能手机产品中的创新也并非一无是处,除了已经普及的全面屏设计之外,近年来手机AI也已经成为构建产品竞争力的重要组成部分,越来越多的厂商也将其作为体现区分度的一种手段。如今上至顶级旗舰下至入门级产品,都无不在宣称自家机型能够依托AI带来使用体验上的改变。


万物皆可跑分,AI也不例外


有江湖的地方就有纷争,就像百晓生要排出兵器谱一样,手机AI能力自然也要分出高低。数天前,知名评测机构安兔兔推出了全新的安兔兔AI测试APP,意图“为大家提供一个可以量化的标准,从而判断不同平台AI性能的区别”。

20190125165858_90077.jpg

与此前的安兔兔APP一样,这款AI评测应用的体积并不大。而根据官方的介绍,这个V1公测版中主要是针对inception V3和MobileNet-SSD两种神经网络模型,进行关于图片分类和对象识别的测试,并将这些转换为由SoC厂商提供的SDK支持的神经网络,如果SoC不支持与人工智能相关的算法,则会使用TFLite进行基准测试。


在测试过程中,我们采用自用的vivo NEX旗舰版进行这项测试,过程中,安兔兔提供了200张不同内容的图片作为题目,手机AI需要将其分类为“交通运输”、“电子机械”、“运动风景”、“动植物”、“食物”以及“其他”六大不同的类别。

1222.jpg

而在对象识别环节,安兔兔准备了一段600帧的日常道路短片作为素材,AI需要识别出汽车、公交、卡车等不同的车辆类别。需要注意的是,在持续了不到1分钟的跑分之中,手机本身并没有出现温度骤然升高的情况,因此也不难看出其基本是模拟了常见的日常使用场景。

2222.jpg

这款搭载高通骁龙845主控的vivo NEX旗舰版跑分结果也很有意思,除了第一次跑分为88587分之外,其后多次跑分成绩都在91000-92500分之间,由此不难发现骁龙845的异构计算体系确实在发挥着作用。而在随后使用一加6T再次进行三轮跑分,成绩则分别为92888、92966、92976,从整体上来看与vivo NEX旗舰版的差距不大。


不一样的策略有不一样的结果


需要注意的是,安兔兔AI测试采用的并不是Android平台统一的Android Neural Networks API(NNAPI),而是使用各大SoC厂商各家AI芯片的SDK,也就是高通的SNPE、联发科的NeuroPilot、华为海思麒麟的HiAI。因此考虑到各主控厂商对于AI侧重点以及算法的区别,也就导致了相互之间的差异。


NNAPI是谷歌在Android 8.1上内置的神经网络API接口,能够利用硬件加速,使Android设备的GPU/DSP或各种专用人工智能加速芯片完成神经网络的推理运算,提高计算效率。但是这种通用性方案必然会更加注重针对不同平台的普适性,因此目前也仅有联发科针对NNAPI进行了全方位的适配。


当然有朋友可能会问,采用NNAPI且提供高达9项测试的AI-Benchmark,是否就具有更高的参考性呢?但事实是,由于各SoC厂商对于其适配进度并不统一(大多数厂商目前并未支持NNAPI),以NNAPI为基准必然会使得结果更加偏向联发科的SoC,之前联发科Helio P90胜过麒麟980的测试结果,就是在这样的情况下出现的。


安兔兔则是直接联合各大主控厂商,使用专属SDK工具包的方式来测试,也能够在最大程度上发挥SoC的性能。不过由于各家算法差异对于SoC表现具有决定性的意义,也就是使得不同平台之间的可比性被弱化。

u=4191187664,2641238091&fm=173&app=25&f=JPEG.jpg

并且所谓基准测试是指通过设计科学的测试方法,实现对测试对象某项性能指标进行定量对比,再根据不同的指标赋予不同权重,最终得出一个结论。比如说,MobileNet-SSD、VGG16、inception V3等不同的神经网络模型,在不同AI跑分软件上的权重不同,经过加权之后就能够得到截然不同的结果。

2.JPEG

但是必须要说明的一点是,手机AI在目前来说对于实际使用上能够产生的感知,并没有测试软件的跑分差距那么大。举个例子,在许多手机厂商力推的智能识图上,即使进行像高通骁龙845对比联发科MT6739这样的情况,其中的差距用户用肉眼是很难感知出来的,毕竟再慢的情况下,也只有几个眨眼之间的差距。


至于在人脸识别、AI拍照、AI美颜等系统功能以外的环境中,AI能够发挥的作用就更小了。在上文之中提到,各大SoC厂商都拥有属于的自己的API和SDK工具包,而在这种不同标准之下,如何实现同一判断标准无疑也就更具挑战性。

1252099891062.jpg

这样五花八门的标准,对于广大第三方开发者来说可并算不上不友好,有实力的企业如腾讯、阿里、百度,自己就能够有相应的AI团队来分别进行优化,但人手不足的中小团队,则很难负担起针对不同平台AI优化这一天量的工作。


因此从现阶段来看,AI跑分软件更多的给我们带来的只是一种参考标准。毕竟MobileNet-SSD、VGG16、inception V3等神经网络模型权重问题如果不得以解决,第三方APP支持不力的情况不发生改变,就很难在即使测试结果差距很大的情况下,在实际使用体验中感受到其中的不同。


【本文图片来自网络】

踩(0)

最新文章

相关文章

大家都在看