当前位置: 首页 > 科技赋能

高通刘雪慧!高通骁龙移动平台加速终端侧AI

时间:2024-05-22 19:35:59 科技赋能

8月30日至31日,由中国高科技行业门户OFweek微科网、高新科技协会主办的中国(上海)国际人工智能展览暨会议, OFweek人工智能网主办。

OFweek(第二届)人工智能产业大会在上海成功举办。

本次大会以全新视角剖析行业趋势,解读今年国内外人工智能领域最值得关注的学术和研发进展,与数千名国际知名企业高管、资深行业专家进行交流,专家分析人工智能领域的机构。

精英们进行多方分析讨论。

在30日的人工智能技术主论坛上,高通公司刘学辉发表了主题演讲。

他分析了端侧人工智能的四大需求、智能手机人工智能的三个方向以及基准测试的四个组成部分。

不仅如此,刘学慧还强调,人工智能向终端测试方向发展,需要依靠用户和设备,让人工智能能够被训练、执行和推理。

智能手机的AI体验不能只依赖一个核心。

当AI面向图像分类网络时,其准确率和运算次数的比较是基准测试最重要的指标。

人工智能软件的持续优化是实现Snapdragon SoC产品组合性能的关键。

一年内实现两倍提升的重要突破口。

以下是美国高通公司产品经理刘雪辉的内容。

OFweek编辑在不改变原意的情况下进行了整理编辑:尊敬的嘉宾,早上好。

很高兴有这个机会与大家分享有关高通的信息。

在人工智能方面取得了一些成果。

我今天演讲的话题其实没有我们宣传的那么大。

由于时间限制,我的演讲只有20分钟,所以我们把话题锁定在高通在终端侧人工智能方面所做的一些事情。

高通实际上生产终端芯片,包括智能手机芯片、平板电脑芯片、物联网芯片。

我们公司有两大战略。

一是人工智能,这很符合今天的主题。

另一个战略是5G。

未来几年,今年是5G时代,在“万物互联”和物联网快速发展的时代,这两种技术其实可以很好的契合。

端侧人工智能的出现这几年很火,这个话题也很热门。

它的出现其实有它的需求。

我们总结它主要有这几大需求。

首先是终端侧,因为大多数终端都是人使用的,所以它的隐私和用户隐私保护是非常强烈的需求。

可以通过使用人工智能进行终端测试来完成,而不是交给云端。

满足隐私需求。

第二是可靠性。

你可以想象一下,当我们在驾驶自动驾驶汽车时,如果AI能力不是在车上完成,而是由云端完成,如果出现通信问题,任何延迟都会发生,如果及时性、可靠性,包括低延迟都无法实现一旦满足,后果将非常严重。

另一个是效率高。

这里所说的高效率,其实是指除了计算资源的高效消耗之外,还有一个非常重要的,就是能源的消耗,也就是我们终端设备对电池的使用。

这也是非常重要的。

一个重要因素。

最后一点是个性化,因为我们很多物联网设备,无论是手表还是可穿戴设备,尤其是我们的手机,虽然用的是同一个手机,但是不同的人在使用的时候都希望有相同的功能。

这些需求推动了设备端人工智能的快速发展。

虽然我们今天的主题是机器人和物联网,但我们不得不谈谈智能手机,因为智能手机是目前地球上唯一出货量最大的单一产品。

我们有第三方预测,2018年到2020年五年内,新出货手机将达到86亿部。

你可以想象,这86亿部中很大一部分将是搭载人工智能的手机。

让我们重点关注这一点,以智能手机为例。

人工智能的功能能为用户带来哪些良好的体验?人工智能在智能手机上有三个方向。

第一个是拍照。

是与视觉密切相关的一个大方向。

这个领域的很多功能已经商用,比如美拍自拍就采用了人工智能技术,包括背景虚化等功能。

这些都是人工智能在拍照。

,视觉中的应用。

第二个方向是语音。

语音UI包括语音唤醒,甚至同声传译等,这些都是语音的一个很大的应用领域。

目前,手机语音还刚刚起步。

第三个方向是增强现实,也就是常说的AR。

也就是说,用户在拍摄一些真实场景时,可以手持手机,在屏幕上叠加虚拟图像或虚拟场景,给用户带来全新的体验。

其背后的商机也是非常大的,并且能够产生新的玩法,大家都知道游戏行业是一个巨大的行业。

同时也有很多商业的引入,比如广告,包括一些互动的交流,能够带来很多的一线体验。

我们简单回顾一下高通端到端人工智能测试的发展历程。

其实高通从2000年就开始研究神经元处理单元在芯片上的实现,到了2018年,我们第一代人工智能产品出来了,而我们那个时代的旗舰芯片Snapdragon,当时其实就已经实现了,加速人工智能的发展。

卡支付网络模型,允许其在CPU上加速。

我们的第二代AI产品实际上是在过去两年的旗舰芯片上实现的。

我们支持更多的框架,然后让神经元网络通过我们的一个引擎,我们称之为“SNPE”,使用这个引擎来加速CPU、GPU和DSP。

今天看我们的第三代,它是在很多高端旗舰手机的芯片上实现的,我们实际上已经实现了对更多框架的支持。

现在流行的新框架有很多,包括我们国内的百度PAD。

PAD,以及商汤科技动力框架的支持,我们的引擎得到了更多的扩展,支持了一些新的API。

它是我们高通AI的产品。

这个产品其实集成了硬件,包括大家看到的DSP、GPU、CPU核心,包括我们一系列的软件工具,还有对多种框架、多种API的支持,这些都集成到了我们的AI产品中,所以我们的AI产品实际上是一种分布式计算的AI技术。

当然,除了我们这样的AI产品之外,如果没有算法厂商,一些系统集成商最终也做不到这个终端设备,所以我们非常重视这个生态系统的建设。

所以我们提出一个观点。

我们的观点是,在智能AI手机上,它的体验其实仅仅依靠一个核心是不够的。

也就是说,你可能会看到人工智能这个领域的一些争论。

比如有一种说法,没有NPU,没有专用的AI核心,就不叫AI手机。

我们强烈不同意这个观点。

我们的观点是,只要在这个终端上实现了AI功能,那么它就是AI手机。

我稍后再讨论。

我跟大家聊这个问题,所以我聊了另外一个话题,就是你们如何判断这个设备的AI能力。

这是一个人工智能基准测试。

我们觉得对标实际上应该包括四个方面。

第一个方面是准确性。

无论是利用AI视觉对照片进行分类还是识别物体,其准确性都是第一要务。

没有准确性,就不会有良好的用户体验。

其次是成绩,也就是所谓的跑分或者速度。

当然,这个表现非常重要。

只有好的性能,才能承载更多更强的AI算法。

第三是能源效率。

因为我们讲的是端侧AI,电池的使用,尤其是如何省电,是一个非常重要的必须考虑的指标,因为如果是在云端,你的电量可以是无限的,但是这个能效在终端上是一个必须考虑的指标。

第四也是最重要的一点是用例。

我们今天终端AI工作的最终目标就是在终端上实现AI功能,给用户带来不一样的、更好的体验。

因此,没有用例支持的实际测试。

这个不成立。

我们再进一步讨论一下。

其实业界大家做测试的时候,只是用一些最经典、最流行的网络来做这个测试。

哪些网络能够满足我们前面讲的四个指标?我们列出了一些最常用的网络。

正如你所看到的,我们画了一条曲线。

曲线上的纵坐标是准确率,横坐标是对计算能力的需求。

您可以在曲线的左上角看到网络。

这两个网络是我们认为在手机等手持设备上最有用、最常用的网络。

这两个网络目前都可以实现高效率和能源效率。

的满足感。

相比之下,您可以看到右侧的VGG-16和VGG-19。

我们认为这两个网络实际上对于智能手机来说毫无用处,并且由于其准确性而在用例方面毫无用处。

特别是功耗要求太高,不适合手机,所以我们在优化的时候,基本放弃了对VGG-16和VGG-19的支持,然后加入了对ResNet50和inception-v3的支持。

在网络上做了很多优化。

这印证了我们之前说的四点,也印证了为什么我们觉得单核NPU无法进行分布式计算。

除了核心能力的提升之外,还有一个非常重要的点,就是整个软件对于端到端AI测试的提升。

有一个数据,就是硬件一年没有变化,但是软件改进后,整体性能提升了一倍。

所以到现在为止,就像之前提到的,我们非常重视生态系统的建设。

以上功能均已在您拥有的手机上商用。

其实这些算法不是高通做的,而是依赖我们的合作伙伴,包括我们列出了这些合作伙伴,当然也有一些合作伙伴没有列出。

他们来这里是为了完成它。

当然他们的算法在我们的平台上也得到了很好的优化。

除了和算法厂商的合作之外,我们还和云合作伙伴,也就是俗称的互联网公司有一些深度的合作。

在中国,我们和腾讯一起开发了一个非常接地气的应用程序。

在大家手机最新版本的QQ中,如果您的手机支持我们AI产品所使用的芯片,您可以找到一个叫做高能舞蹈工作室的应用程序。

函数,如果没有,这个函数就不能发布,它的作用是什么?它只是向您显示一些图标来教您如何跳舞,然后给您一个分数。

它使用一种已经商用的身体识别算法。

如果您有兴趣,可以在QQ上找到这个功能。

我们在语音方面和百度有一些深入的合作,当然在国际上我们和Facebook在AR方面、谷歌在相册的一些品类方面有深入的合作,包括微软开放的AI API。

最后总结一下,其实高通整个AI产品策略就是我们以我们的芯片为起点,以开放的心态支持多种框架,除了Android之外还支持Windows等其他操作系统。

我们和领先的算法厂商,包括今天旷视的谢总这样的合作伙伴紧密合作,然后生产一些用户体验好的功能,创建一些应用,最后实现在各种终端上,服务行业和用户。

带来更好的体验和价值。

我的发言就到这里,谢谢大家。