骁龙8四倍AI算力硬核技术：上部可以超分下部可以增强信号，多个算法可以同时运行需要解锁，接收信号的天线可以根据握法改变，也可以通过听声音的声音来判断自己是否有病。从异构计算能力到可升级的GPU驱动，高通的手机芯片总能引领行业新方向。11月30日，高通发布的新一代骁龙8移动平台（Snapdragon8Gen1）让我们对即将发布的安卓旗舰手机充满了期待。从近期公布的跑分来看，这颗芯片的GPU峰值性能提升了59.7%，在GFXBench上的得分甚至高于iPhone13Pro的A15。这还不是最大的。新一代骁龙8可以说是进行了全面升级。搭载的第7代AI引擎，性能提升四倍以上，提升不止一个层次，带来全新体验。除了展台上能稳定播放《原神》的60帧工程机，在骁龙技术峰会上，人工智能的概念贯穿始终，骁龙被打造为所有移动终端协同工作的核心。多个AI模型同时运行，App通常只会同时运行一个或两个神经网络。但是为了更好的体验，越来越多的机器学习模型被添加到我们的应用程序中。随着终端功能的发展，这些神经网络一年比一年复杂。高通表示，第7代AI引擎可以在保持低功耗的同时处理这些需求。作为重要的手机芯片厂商的产品，骁龙的AI引擎正在支撑着18亿人。一些已经实现的强大功能包括：在拍照时，机器学习算法会自动帮助人们调整相机设置以获得最佳成像效果。人工智能还可以识别和理解用户语音，并根据用户指令完成任务。在某些品牌的手机上，系统应用甚至可以将人们的对话实时翻译成不同的语言。骁龙的“专用AI处理单元”Hexagon处理器处理情绪判断的速度比CPU快30倍，可以让手机进行Transformer架构模型等本地处理。高通展示了HuggingFace使用自然语言处理模型BERT来处理和分析手机上所有下拉通知的内容。AI会分析每条消息文本中的语气和情绪，按照紧急、重要、非紧急的情况分类展示。您不会错过来自老板的催促电子邮件。如果要查找的消息太多，您还可以使用语音命令搜索特定类型的消息。在sensorhub模组上，骁龙8还创造性地加入了“alwayson”芯片模组。这种极低功耗的ISP可以与终端摄像头关联，驱动摄像头全天7×24小时开机，从而带来一些方便和安全的特性——如果检测到二维码，手机会自动唤醒识别它的应用程序；当您使用完手机并将其放在桌子上时，它会自动锁定屏幕；如果您拿着手机，有人从您身边走过如果您回头偷看，手机会自动锁屏；或者，如果您想将手机屏幕主屏幕上的内容分享给其他人，则短信的提示条会自动隐藏。很多人买手机都会做的一件事就是把各种熄屏显示和唤醒功能关掉以节省电量，但??是在骁龙8上你就不用这么做了。新一代的传感器模块AI计数功率提升75%，能耗降低50%。高通还承诺，新的ISP工作时不会拍照或录像，数据也不会出模块单元，可以保证用户的隐私。高通展示了基于第七代AI引擎的相机AI应用。手机摄像头支持更好的自动对焦、自动??曝光和自动白平衡调整，手势检测允许用户无需按任何按钮即可拍照，以及基于AI的视频背景模糊等功能。背景虚化+人脸识别+手势识别+手势，各种神经网络的效果现在可以同时在手机上实时完成。人脸的细节也很重要。QualcommSpectra首次全面取代构成摄影基础的传统算法，让AI完全接管拍摄任务，可以识别面部特征，判断拍摄对象的眼睛是否睁开，甚至微笑。全新面部特征引擎可检测300个特征点，还针对更多面部特征进行训练，包括眉毛、嘴唇、下颌线等。除了对焦和特效，AI引擎和相机引擎也可以工作每秒处理32亿像素，实现更强的变焦能力。去年搭载骁龙888的夜间模式将大约六帧照片组合成一张合成图像。骁龙8的相机多帧引擎会合并约30帧，提供“五倍夜间模式”。由于在低光条件下跟踪更多像素，因此相机可以智能滤除手抖造成的模糊，从而获得更清晰的图像。同时，人工智能还可以消除广角镜头的画面畸变。然后是虚拟现实，高通展示了人工智能改变购物体验的新方向。通过AR技术，人们可以在家中布置虚拟家具，虚拟试穿球鞋，实现更加个性化的购物体验。这些应用都是通过高通AI引擎优化实现的。在骁龙8移动平台上，高通还将AI技术融入到调制解调器和射频系统中，带来了全球首创的AI天线调谐技术，检测用户手持终端时手的位置，切换接收信号的天线，瞄准at更快的数据传输、更好的网络覆盖和更长的电池寿命。第7代AI引擎使性能和能效翻倍。这些是如何实现的？我们知道运行AI模型需要强大的计算能力。在骁龙8移动平台的AI引擎上，高通实现了迄今为止最大的AI算力提升。具体而言，第7代AI引擎包含多个低功耗AI子系统，由下一代AdrenoGPU、Hexagon处理器、KryoCPU和第3代高通传感器中枢（SensingHub）组成，处理不同的Compute需求。整个SoC的多个计算单元实现了6TOPS的异构计算能力。在一些广泛使用的AI模型上，如inceptionv3、mobilenet_v2、Resnet50、VDSR等，推理速度比上一代AI引擎快4倍，AI计算能效比上一代高1.7倍上一代。第7代AI引擎能取得这样的提升，很大程度上得益于新一代AI软件：除了张量计算性能翻倍、Hexagon处理器共享内存翻倍外，其AI软件性能也提升了2倍，现在支持INT8+INT16混合精度计算。更大的内存意味着芯片可以运行更大更深的神经网络，更高的精度可以让算法推理的结果更准确。在开发工具方面，新的神经网络处理SDK更新了算子支持。QualcommAIEngineDirect可以直接接入移动深度学习框架TensorFlowLite和AndroidNNAPI，让开发者更容易更快地将他们的AI模型应用到移动设备上。结尾。用手机完成桌面任务AI新技术层出不穷，如何把机器学习模型塞进手机？这对工程师来说是一项非常具有挑战性的工作，利用AI技术自动完成是一个很有前途的方向。高通和谷歌合作将神经网络架构搜索（NAS）引入骁龙平台，该平台已集成到第七代高通人工智能引擎中。就像AutoML的思路一样，高通提供的NAS工具NeualProcessingSDK可以输入硬件配置和工作要求（比如帧数和精度）作为参数，AI算法帮助工程师快速实现深度学习模型的优化设计.AI可以从最基础的层面入手，基于最初的网络搜索和优化，构建出满足移动硬件的模型。它可以考虑延迟、网络规模、准确性、功耗等目标，让模型在手机上运行得更快，开发者的工作时间也可以从几个月缩短到几周。Snapdragon是全球首个支持GoogleCloudVertexAINAS的移动平台。此前，高通精炼最佳神经网络架构DONNA的研究也被人工智能顶级学术会议ICCV2021录用。高通希望未来NAS功能能够助力多终端部署，让AI模型快速部署到手机、笔记本电脑、VR设备和汽车上。除了以上提到的技术和用例，骁龙8的AI引擎还能实现哪些黑科技？例如，高通表示，他们正与SondeHealth合作开发一种基于音频识别的诊断技术，让手机仅通过听你的声音就可以判断是否存在抑郁症、哮喘等健康问题。当然还有游戏画面中的超分辨率技术：通过利用历史帧数据和GPU优化的运动估计，Adreno图像运动引擎可以让一些游戏以两倍的帧率运行，同时保持几乎相同的功耗。现在全球有超过30亿游戏玩家，手机游戏占年收入的52%。其中，支持SnapdragonEliteGaming的芯片组出货量已超过8亿台，高通的新技术将惠及众多玩家。按照高通的说法，是为了让手游玩家享受到端游的游戏体验。高通、各种原始设备制造商和技术公司仅在今年就交付了200多个机器学习模型。未来，我们还可以看到更多以往难以想象的技术出现在手机上。开启移动体验的新革命需要最先进的技术。明年搭载骁龙8的旗舰手机，强大的性能、低功耗、功能丰富的AI技术，会给我们带来怎样的体验？让我们拭目以待。
