【.com原稿】这是一家刚刚完成A轮融资的人工智能初创公司。 创始团队包括三位来自东北大学、北卡罗来纳州立大学和威廉玛丽学院的该领域知名教授。 专注于端侧AI的实现，致力于在不增加额外的人工智能专用硬件的情况下，让现有的处理器能够实时处理人工智能应用。 就是CoCoPIE——AI领域的新星，在少有人走的路上摸索前行。 这家名字可爱的AI科技公司，最近迎来了新的董事李晓峰博士。李晓峰曾任OPPO软件首席架构师、华为技术副总裁、华米美国分公司总经理、技术副总裁，具有丰富的技术研发和管理经验。他如何看待终端设备的智能化趋势？AI创业公司众多，他为何选择掌舵CoCoPIE？结合CoCoPIE的技术和应用前景，他如何规划公司的现在和未来？就这些问题，李晓峰接受了51cto记者的专访。 挑战：如何在终端设备上实现实时AI应用 随着5G和物联网技术的普及，人工智能在终端设备上的应用屡见不鲜。监控、工业质检、远程维护等场景也似曾相识。但受限于终端设备的计算能力、功耗、内存等因素，终端设备的智能化之路依然充满荆棘。 李晓峰指出：目前人工智能算法的主要技术是基于深度学习，这意味着，一般来说，一个比较大的模型很可能获得更好的准确率。但是，当模型变大时，必然会导致对计算能力的更高要求，这在目前的终端设备上是难以满足的。 目前AI在主流终端硬件上的实现方式是设备将数据发送到云端进行计算处理，处理后返回给设备。这种方式虽然解决了算力问题，但是一来服务器成本和带宽成本高，二来应用体验会有所延迟。因此，如何实现AI计算的国产化成为技术突破的重点。 李晓峰介绍：面对这个问题，业界常用的解决方案有两种。一是开发AI专用芯片或定制ASIC芯片；二是大幅压缩模型，降低对算力的要求。但就目前而言，这两种方法都有明显的缺点。专用芯片虽然可以针对性解决算力问题，但成本高、研发周期长、通用性弱、风险大。毕竟，准确性和效率之间很难取得平衡。 推动和普及终端设备的智能化，必须破解这一困境。CoCoPIE团队看到这一幕，敏锐地意识到机会来了。他们不局限于现有的解决方案，而是从第一性原理出发，分析AI任务对算力需求的本质，选择一条鲜有人走的探索之路。 选择：CoCoPIE的另类路径 为什么人工智能任务在现有硬件上表现不佳？李晓峰总结道，主要有两个原因：“一方面，现有的AI计算中存在很多冗余计算，另一方面，现有的运行引擎没有充分发挥芯片的潜力。” 总的来说，专用芯片之所以更适合AI任务，是因为它拥有大量的向量计算单元，可以满足大规模并行计算的需求。但实际上，目前主流的芯片基本上都有矢量计算单元。CoCoPIE团队认为，在深度学习模型国产化进程中，CPU、GPU、DSP等主流硬件仍有很大潜力未开发。与AI专用芯片相比，这些通用芯片肯定弱一些，但基本足以完成目前的AI任务。 如何充分发挥这些通用芯片的潜力？李晓峰解释说，前提是必须有一个“优秀的编译器”，可以通过精巧的设计将AI任务转化为合适的向量计算，同时控制整体的计算量。基于这样的理解，CoCoPIE设计了一种针对人工智能模型的压缩-编译协同方案，可以让以往无法在终端设备上运行的神经网络能够在终端上运行，进而在现有的终端设备硬件条件下，实现Efficient实时实现端侧智能化。此外，这种软件协作模式还可以有效加速各种新一代AI硬件。 李晓峰认为，CoCoPIE的技术路线在端侧AI领域具有巨大的成长空间。早在CoCoPIE成立之前，他就与创始团队会面并参与了初期讨论，并持续关注其进展。在CoCoPIE发展的关键时期，李晓峰选择加入，对双方来说都恰逢其时。 对于李晓峰来说，他非常认可CoCoPIE的技术实力，相信它在端到端AI方面可以有很大的潜力。他提到端到端人工智能的潜在市场是数万亿美元。有机会参与这样的发展风口，通过自己的努力改变人们的生活，是一种幸福和快乐。 对于CoCoPIE来说，李晓峰之前的工作经历和团队管理经验将为公司带来关键的收益。无论是在英特尔、华米、华为还是OPPO，一系列端到端设备的工作让他深刻认识到端到端计算的重要性在不断扩大，端到端用户的价值不断增加。 在英特尔时，李晓峰带领团队负责英特尔移动平台安卓系统的性能、功耗和流畅度，开发出业界首款安卓评估套件；产品软件及算法研发；在任华为技术副总裁期间，带领团队研发移动设备智能感知算法；在OPPO时，他发明了基于感知触发的新应用技术……这些经历让他对端到端的AI技术发展和市场需求有着深刻的理解，对发展趋势有着深刻的洞察智能端到端设备的建设方法，这也让他对领导CoCoPIE更有信心。 核心：“协同设计”中的第三种可能性 对于一家科技公司来说，如果领导者代表的是剑尖心向，那么核心技术永远是基石，基石站立的。业内普遍认为，硬件是限制当前终端设备实时推理的主要因素。因此，在芯片竞争日趋激烈的情况下，CoCoPIE的新做法提供了新的可能和想象空间。 CoCoPIE，Compression-Compilationco-designforPerformance,Intelligence,andEfficiency，意为一种高性能、高智能、高效率的压缩-编译协同设计方法。从这个名字，我们可以直观的看出CoCoPIE的技术核心和优势。 李晓峰进一步解释道：压缩和编译是将深度学习模型适配到硬件上以高效执行的两个关键步骤。CoCoPIE技术的核心在于两者的“协同设计”，这是CoCoPIE的首创技术。该技术的关键是在设计压缩时考虑编译器和硬件的偏好来选择压缩方式，并在设计编译器时利用压缩模型的特点设计相应的编译优化方法。 要做到这一点，找到合适的模型压缩方式是关键。模型压缩需要在不影响模型精度的情况下减少模型的参数（权重）数量，从而降低模型训练和推理的复杂度。 以往的权重剪枝主要有两种方式：针对任意权重的非结构化剪枝和针对过滤器或通道的结构化剪枝。非结构化剪枝可以优化任意权重，保证精度，但由于剪枝不规则，对硬件优化不友好，不利于并行计算，增加计算能耗。结构化剪枝对所有通道和过滤器进行统一剪枝。由于采用规则的剪枝方式，有利于硬件加速，但随之而来的是精度下降。 两者各有优缺点。在综合权衡下，CoCoPIE首创了第三种解决方案——基于模式的权重剪枝方法。 李晓峰解释说，这种方法的基本思想是针对不同的运行环境和模型特征寻找特定的模式，选择不同的模式供过滤器进行剪枝。这种压缩方式本质上是一种“细粒度的结构化剪枝”，可以在有效降低计算量的前提下保证准确率不变。同时，编译器可以根据这种模式重新排列过滤器并生成代码，有利于最大化计算并行化和内存优化。这样就把压缩和编译完美的结合起来，做到既准确又高效。 对应压缩和编译两个步骤，CoCoPIE设计了两个组件：CoCo-Gen和CoCo-Tune。CoCo-Gen将基于模式的深度神经网络(DNN)剪枝与基于模式的代码生成相结合，生成高效的DNN执行代码；CoCo-Tune基于软件工程中的可配置性概念，将整个网络作为许多组件模块的组合，其中每个模块由一系列CNN层组成。CoCo-Tune预训练这些可重复使用的训练模块并将结果用于后续网络，从而显着缩短DNN模型压缩和训练的过程。 CoCoPIE带来的性能提升非常可观。它的加持，不仅让很多无法在端侧通用芯片上运行的模型高效运行，而且在效率上也远超专用芯片。对照实验中： 同样是VGG-16神经网络，与通用芯片和谷歌TPU-V2相比，使用CoCoPIE后，在移动设备三星GalaxyS10上的能效比高出近18倍在TPU-V2上； 同样是三星GalaxyS10平台，运行行为识别的C3D和S3D任务，CoCoPIE的速度分别是Pytorch的17倍和22倍； 另外，功耗测试结果显示，CoCoPIE和TVM相比，执行时间缩短了9倍以上，而功耗仅为不到10%。 产品：拓展智能无处不在的空间 对于一家人工智能创业公司来说，要想谋求发展，除了在技术上不断提升，建立完善的产品和服务体系也是重中之重优先事项。对此，李霄峰已经心中有数。 在他看来，公司目前的发展重点是建立技术壁垒高、可规模化放大的产品体系，真正将领先技术转化为可直接服务于大规模客户需求的产品体系。同时，公司发展的核心闭环，如团队建设、产品战略、经营战略等，必须夯实，与合作生态形成良性互动，让雪球滚起来，不断积累，加速成长。 在创新技术的产品转化方面，李晓峰强调，他更关注智能技术的无处不在。“无处不在”在这里的意思是更无处不在，而不仅仅是普及和流行。 在他看来，在过去，在设备中植入芯片来运行一个或一些应用程序被认为是智能设备（SmartDevices）。但实际上，这里的“智能”实现依赖于云端和网络。一旦这些外部条件发生变化或失效，可能会发生不可预测的损失。更重要的是，许多业务对隐私安全和运营安全都有要求。这些不可控的因素会让人不敢在端侧部署服务。这种情况也在很大程度上限制了端到端AI的发展。 因此，要真正推动从智能设备向智能设备的演进，就需要拓展其发展空间，让AI真正无处不在，让端侧智能真正在本地实现，而不是受限于外在因素。CoCoPIE现在正在做的是加速这一进程。CoCoPIE的技术本质是让AI任务能够在芯片平台上高效执行，即连接AI任务和硬件平台。这一环节为端侧的本地实时AI提供了路径，重塑智能设备空间的想象空间。 李晓峰介绍，CoCoPIE的技术已经有了多种实现场景。具体可以分为三类：AI应用的优化执行，比如帮助实现实时视频增强；智能设备AI赋能，如摄像头活动检测；芯片平台集成设计，例如为芯片平台设计集成AI运行栈。 基于这些场景，CoCoPIE可以为用户提供三类服务：第一，通过提供完整的工具链和SDK为客户赋能；二是通过云端SaaS提供大规模自动化AI模型优化服务；三是深度合作，提供定制化服务。 目前，CoCoPIE的合作客户包括腾讯、滴滴、美国交通部、Cognizant等，涵盖互联网厂商、移动设备厂商、芯片平台提供商等领域。 距离不远：万物智能互联，想象无限。 个人和企业的发展都离不开时代。我们生活在一个什么样的时代？ 5G发展如火如荼，沉寂多年的物联网也开始崭露头角，万物互联开始成为时代的科技梦想。无数终端设备如星辰般，在这梦境中忽隐忽现，不容忽视。CoCoPIE瞥见了这一幕，于是在玩家众多的赛道上愉快地进入了比赛。 李晓峰说：“设备是为人服务的，是人能力的延伸。” 在他看来，设备端设备是人们与数字世界交互的载体，而设备端能力的发展趋势是让人们可以在物理世界和数字世界之间自由进出.未来会协同越来越多的端到端设备，让进出过程更加顺畅、自然、无缝。 要实现这个目标，必须满足两个要求：一方面，端侧要能懂人，懂人的意图和环境，才能定位优质服务，做好服务在数字世界的入口处；另一方面，端侧必须能够给人愉悦真实的体验，才能输出优质的服务，做好数字世界的输出。这两者都要求端侧设备更加“智能”，既能理解人的需求，又能满足人的需求，从而实现“智能交互，真实体验”。这就是为什么端到端人工智能的发展如此重要，而CoCoPIE正是为此而生。任重而道远，也期待更多同行携手共创未来。【原创稿件，合作网站转载请注明原作者和出处为.com】
