要说什么AI技术最接近大佬，那真的是AI特效玩法了。想要画出一副完整的画，不需要点亮自己的画功。只需拿起手机打开APP拍照，AI秒自动为你完成。△快手“手绘封面”特效不局限于单张照片，短视频的每一帧画面都可以被这样的麻瓜“魔法”丝般覆盖。多种美术风格，只有你想不到，没有AI做不到。但是，别看这些特效滤镜层出不穷，动不动就掀起一波网络狂欢。从一款机型的诞生，到它真正走进你的手机，背后的故事真的不是三言两语能说得清的。特效是如何进入手机的？下面就以快手的手绘特效为例，详细说说这个。首先自然是算法层面的一系列操作。从用户拍摄视频/照片到输出AI的“手绘作品”，在AI看来大致是这样一个过程：ISP将处理后的视频/照片发送给App，AI接收到需要处理的图片进行处理，它会对每一帧进行预处理，统一格式和大小。接下来就可以开始对图片中的人脸进行检测和裁剪，并使用定制的“艺术家”神经网络（如U-Net等）进行处理。本步骤生成的手绘效果与输入框进一步融合后，手绘特效初步完成。当然，在正式输出之前，每一帧都要经过一个补妆和美颜的步骤，来提升整体的画质。这时候可能有朋友会问了，现在各种开源的生成算法都已经很成熟了，为什么直接搬到手机上这么难呢？不，不。且不说为了最大程度的保留使用者自身的五官和外貌特征，同时兼顾手绘风格的审美和艺术效果，还需要对AI进行更严格的调整整体风格和局部细节方面的模型。对于快手这样的app，一般来说，训练一个稳定好用的模型往往只是第一步。更大的困难在于手机的运营商本身。作为移动设备，手机的计算能力有限。也就是说，AI的手绘能力越强，技术越复杂，手机就越难流畅运行不卡顿。对于我们的用户来说，如果开了特效，电池就没电了，那就一点乐趣都没有了。此外，手绘滤镜等算法默认运行在手机CPU上。CPU是一种通用计算单元，它本身并不是运行AI工作负载的最佳选择。如何处理？总的来说，有以下三种思路。第一种思路是从算法入手，压缩模型。以快手为例，AI滤镜背靠定制的模型压缩算法，使其在考虑各种边界条件和有限的计算和内存资源的情况下，最大限度地减少模型计算量。然而，无论算法如何优化，硬件层面的限制仍然是无法回避的问题。所以还有第二种思路，上云。许多App提供商会选择在云端进行复杂的AI处理，以解决移动端计算能力不足带来的挑战。但这又带来了新的问题——在云端计算会受到网络环境的影响，导致额外的延迟等变化，无法满足线下需求。所以第三种思路就是直接从SoC硬件厂商这边解决问题。以最常见的高通骁龙移动平台为例。其搭载的高通AI引擎在硬件端，实现了AI计算的加速。Qualcomm的AI引擎有什么不同？高通AI引擎实际上是骁龙移动平台内置的一整套软硬件AI解决方案。在硬件方面，高通AI引擎采用多核异构计算方案，包括：Hexagon向量处理器AdrenoGPUKryoCPU因此，通过智能调度CPU、GPU和向量处理器进行AI计算，高通AI引擎可以充分发挥不同架构处理器的优势在实现高计算能力的同时保证了最大的能效。在软件方面，QualcommAIEngine的软件工具包括：SnapdragonNeuralProcessingSDK、AndroidNN和HexagonNN。利用这些软件工具，视频平台等算法开发者可以快速接入高通AI引擎，充分探索AI算法的性能边界。事实上，快手与高通早在骁龙765移动平台推出时就开始了合作。针对移动平台App对性能、功耗、可扩展性和兼容性的需求，Qualcomm神经处理SDK可以以软件的形式提供支持，释放CPU工作负载，通过Hexagon处理器实现AI加速。此外，双方还在模型量化和压缩方面进行了合作，在提升模型性能和能效的同时保证AI处理的准确性。所产生的效果可以通过一组数据直接体现出来：手绘滤镜的帧率（FPS）提升了56%，功耗降低了32%。今年，随着新一代骁龙778G移动平台的推出，双方的合作还在不断加深。核心围绕第6代高通AI引擎。骁龙778G支持的第六代高通AI引擎包括高通Hexagon770处理器，运算能力高达12TOPS，性能较上一代平台提升一倍。供大家参考：苹果A14是11TOPS。此外，骁龙778G采用的全新QualcommSpectraISP支持每秒20亿像素的处理，可为QualcommAI引擎运行特效算法提供额外支持。快手Y-tech的AI工程团队负责人边鸿昌对于此次合作也表示：与QualcommTechnologies的出色合作帮助快手突破了AI算法的性能边界。我们很高兴继续与高通合作，充分发挥骁龙高端芯片强大的异构计算能力。通过增强神经网络性能和提高输出质量，我们将能够为用户提供更具吸引力的应用程序和更高的价值。”“AI巨头”高通？说起高通，可能你的印象还是“手机芯片厂”，擅长游戏和图形。但从手绘滤镜的案例中，不难看出高通AI大公司依然是App开发者愿意合作的那种，其实早在AI方兴未艾的时候，高通就已经将AI作为技术发展的重点，2007年，高通子公司QualcommResearch启动了第一个人工智能项目，并于2018年正式成立QualcommAIResearch。2015年，搭载第一代高通AI引擎的骁龙820发布，QualcommHexagon矢量扩展核心正式推出，支持更强大的AI处理能力经过6年的逐年迭代，今年同样搭载高通第6代AI引擎的骁龙888Plus，拥有更强大的AI处理能力。拥有高达32TOPS的强大算力。而且，高通的AI能力也可能比你想象的更深入到日常生活中。.虽然不如App中的AI特效算法强大，但在你的手机和手机应用越来越智能的背后，或多或少都有高通AI引擎的影子。近期又有新的例子——搭载骁龙888系列的荣耀Magic3，通过场景元素识别和智能匹配推荐，实现AI色调推荐功能，让用户在手机上拍出大片的质感手机。同样搭载骁龙888Plus的小米MIX4，落地后的屏下摄像头令人惊叹，AI影像增强算法的加持功不可没；还有全新的全景AI翻译方式，带来同声传译、屏幕翻译、拍照翻译、AI字幕等实用的AI功能，让用户在看视频等诸多场景下都能便捷体验AI“翻译大师”的服务还有线上会议……黑科技到底有多复杂？这不是大多数用户需要考虑的事情。但在高通与合作厂商的碰撞中，更多的黑科技正在成为生活常态。拿了就完了，你怎么看（手动狗头）？
