三年前，人工智能成为智能手机的新卖点。一时间，支持AI功能的智能手机迅速普及，AI性能成为继CPU、GPU之后最受关注的手机处理器参数。如今，展示AI性能已经成为手机和手机处理器发布会必不可少的内容。但是你有没有想过，为什么你需要一部拥有强大AI功能的手机？手机中的AI处理器究竟能做什么？手机有哪些AI功能？是的-智能语音助手和AI相机。毫无疑问，AI摄影是普通消费者使用最多的功能，包括AI背景虚化、AI超级夜景、AI美颜、AI降噪等。此外，一些常见的AI功能还包括人脸识别、通话降噪、翻译等。眼下，这些常见的移动AI功能正在变得越来越强大。例如，以往手机无法实现自动语音识别（ASR）、离线实时语音翻译等功能。它甚至可以在嘈杂的环境中做出响应。此外，在拍照方面，手机摄像头的数量增加到了三个甚至五个。在广角、超广角、长焦镜头的切换过程中，用户很容易感到卡顿。变焦平滑切换方案可为用户带来基于AI的平滑变焦体验。基于AI的光学变焦平滑切换相较于智能语音助手和拍照，部分手机上的AI功能并不好找。例如，短视频平台抖音在全世界都非常受欢迎。由于网络带宽等因素的考虑，用户手机实际接收到的是320P分辨率的视频，但分辨率越高，体验越好。为此，字节跳动与高通深度合作，基于骁龙865进行优化，借助手机的AI处理器运行一个特殊的神经网络（超分辨率卷积神经网络），将手机接收到的视频进行转换。用户从每帧320P分辨率提升到720P，因为这个处理是通过终端侧AI实现的，用户也可以获得更流畅的体验。不仅如此，AI还可以用来解决让很多用户焦虑的电池问题。iPhone利用AI能力学习用户的使用习惯，从而优化充电以延长电池寿命。高通还在其QuickCharge快充技术中将AI算法引入到快充快放的整个系统中。通过学习用户的个性化使用习惯，比如玩游戏和游戏时长，然后进行训练，QuickChargeAI可以做得很好。微调整个系统CPU，包括充电效率。如此一来，QuickChargeAI可将手机电池剩余运行时间的预测准确率进一步提升高达15%。而且，还可以实现更好的充电和散热管理，延长电池循环充电寿命，最长可达200??天。当然，AI也让手游、购物、学习等功能变得更有趣、更实用。详情可参考雷锋网往期文章（公众号：雷锋网）。事实上，手机强大的AI功能需要强大的手机处理器和AI性能来支撑。借助最近发布的骁龙865移动平台，我们来分析一下硬件和软件是如何配合实现强大的AI功能的。更高性能的AI处理器，更强大的AI功能上月初，高通发布了最新的旗舰移动平台骁龙865。新平台很好地融合了5G和AI，可提供高达7.5Gbps的峰值速率，并配备与第五代高通人工智能引擎AIEngine和传感器中枢（SensingHub）。此外，Spectra480ISP可实现高达每秒20亿像素的处理速度。SnapdragonEliteGaming还可以支持端游体验、极致逼真的图形性能等一系列新特性，能够为用户带来出色的拍摄和游戏体验。.作为骁龙865升级的重点，新一代Kryo585CPU性能提升25%，全新Adreno650GPU整体性能较上一代平台提升25%。与AI功能关系最密切的AIEngine，骁龙865中集成的第五代AIEngine，性能高达每秒15万亿次运算（15TOPS），是目前AI性能的两倍上一代骁龙855，相比骁龙845AI性能提升了5倍。骁龙865AI性能的显着提升并不依赖于某个处理器的提升。AIEngine一直采用多核异构计算方案，通过KryoCPU、AdrenoGPU、Hexagon处理器协同处理，共同完成AI任务。第五代AIEngine核心的Hexagon处理器全新升级。TOPS性能是上一代张量加速器的4倍，运行能效也提升了35%。骁龙865的Adreno650GPU的AI算力是上一代骁龙855GPU的两倍多，成为手机最强AI处理器。当然，AIEngine多核异构架构也能在性能和功耗之间取得最佳平衡。对于电池供电的智能手机来说，兼具高性能和低功耗是非常重要的。和AIEngine性能提升的思路一样，高通对功耗的降低也不仅仅局限于某个硬件，而是从系统的角度出发。优化。深度学习算法是目前人工智能最常用的算法。这类算法带来了大量的卷积运算，但最耗能的不是卷积计算，而是数据处理。为此，高通将骁龙820上使用的带宽压缩技术升级为骁龙865AIEngine上的深度学习带宽压缩技术，可实现无损压缩，压缩比高达50%。内存访问。而且，骁龙865新支持的LPDDR5能够带来30%的带宽提升，共同实现功耗的降低。还需要一提的是，为了进一步提升手机处理器的智能化，骁龙865还集成了传感器中枢（SensingHub），可用于实时感知音视频。在功耗控制方面，这款SensorHub的多关键词语言语音唤醒功耗小于1毫安。配合AIEngine，手机可以以极低的功耗感知周围环境。比如前述的ASR，高通和谷歌联合增强了AndroidNeuralNetworksAPI，将GoogleAssistant的语音识别功能从CPU迁移到了Hexagon，功耗降低了3倍，延迟降低了30%，并且实现24/7全天候语音翻译，进一步将上下文感知AI提升到一个全新的水平。然而，再强大的硬件，也需要软件来发挥它的“魔力”。更多有趣的AI功能来了抖音，Snapchat、谷歌翻译、有道翻译等APP都输出了手机的AI功能，这也是手机AI软硬件开发商紧密合作的结果。然而，两方的合作却存在着巨大的差距。一方面，软件开发人员不了解底层硬件，调用和优化硬件对他们来说是一个巨大的问题；对开发需求了解不够，很难满足所有开发者的需求。因此，与传统芯片不同，AI芯片供应商需要提供涵盖硬件、软件和工具的完整解决方案，以确保一切协同工作。从顶层到底层分别是应用程序、框架、运行时、库和硬件加速器。在框架方面，AI开发者可能会使用TensorFlow、PyTorch等框架，AI芯片企业会尽量支持主流AI框架。为了简化AI开发者的工作，目前骁龙865可以支持超过160个算子??。运算符指的是框架中存在的复杂函数，可以帮助张量更好地工作。另外值得一提的是，开发者还可以使用Adreno支持的OpenCL和HexagonSDK创建自定义算子，让开发者在框架上实现差异化，充分利用骁龙平台提供的强大AI算法。力量。在Runtime层，为了支持移动终端的AI性能，高通在全球率先推出了面向移动平台的AI软件工具包。QualcommNeuralProcessingSDK与AndroidNeuralNetworksAPI之间的协作可以为开发者提供对Snapdragon移动平台上第一方和第三方应用程序的非并行访问，更好地集成AI硬件和软件。据悉，高通神经处理SDK专注于改善能耗、性能、接入等方面，同时提供每月版本更新，与合作伙伴尤其是OEM厂商紧密合作，提供顶级AI解决方案，支持更多网络和更高表现。QualcommAI研发团队还与谷歌紧密合作，共同优化AndroidNeuralNetworksAPI，实现了3-5倍的性能提升，让访问更简单。需要补充的是，高通还推出了HexagonNNDirect。例如，通过与谷歌的合作，TensorFlowLite开发者可以直接访问Runtime之外的终端，直接运行在Hexagon核心上的库也可以为其他解决方案提供者提供相同的访问权限。此功能可以带来显着的改进。通过使用HexagonNNDirect，Snapchat可以将视频从每秒10帧增加到每秒40多帧。此外，高通还推出了全新的AI模型效率工具包，通过去除网络中的冗余层，可以实现3倍的模型压缩，精度损失小于1%。对于大多数用例来说绰绰有余。此外，该工具包还可以将32位AI模型压缩为8位，将每瓦性能提升4倍以上。基于高性能的硬件和简单易用的软件，骁龙AI技术已赋能全球超过10亿台设备。随着硬件性能的进一步提升和软件的迭代创新，AI在XR、工作、社交等领域的应用将会越来越多。雷锋网总结手机是第一个普及AI技术的智能设备，但在两年前，可供消费者使用的AI功能非常有限。随着手机AI性能的不断提升，AI算法和软件的不断迭代，AI摄影成为了2019年最受消费者欢迎的AI功能。而且，得益于手机强大的AI性能，原本只能依靠云端实现的AI任务，在终端也能取得不错的效果。在手机AI功能更加实用的同时，也催生了很多更有趣、更新颖的AI功能。市场龙头高通，其最新的旗舰移动平台骁龙865能够拥有出色的AI性能，也得益于长期的积累。早在2007年，高通研究院就启动了第一个人工智能项目。此后不断加强在AI领域的研发，并于2018年成立了高通AI研究院。当然芯片的成功，尤其是AI芯片的成功，更好的结合了软件和硬件，生态的繁荣更重要。凭借强大的技术实力和号召力，高通已经在全球拥有众多AI合作伙伴。因此，该领域的表现值得期待。尤其是在5G领域同样领先的高通，5G与AI的融合将会碰撞出意想不到的惊喜。本文转载自雷锋网。如需转载，请在雷锋网官网申请授权。
