导读分布最广的物联网设备往往体积小，功率有限。它们被用作终端硬件，通过嵌入式传感器收集各种数据；它们的计算能力有限，对功耗极为敏感。这样的设备也能实现机器学习吗？一个趋势是人工智能AI正在加速从“云”到“边缘”，并进入越来越小的物联网设备。在终端和边缘侧的微处理器上实现的机器学习过程称为微型机器学习，或TinyML。最广泛使用的物联网设备往往体积小且功率有限。它们被用作终端硬件，通过嵌入式传感器收集各种数据；它们的计算能力有限，对功耗极为敏感。这样的设备也能实现机器学习吗？一个趋势是人工智能AI正在加速从“云”到“边缘”，并进入越来越小的物联网设备。在终端和边缘侧的微处理器上实现的机器学习过程称为微型机器学习，或TinyML。更准确地说，TinyML是指工程师用来在mW功率范围以下的设备上实现机器学习的方法、工具和技术。一批公司正在利用TinyML相关技术和产品，探索如何更好地将机器学习承载在这些无处不在的小型设备上，以提高设备的分析能力和运行效率。TinyML是不同技术领域和驱动力的交集，它处于物联网设备、机器学习和边缘计算的结合点，并因多种驱动力的结合而快速发展。在刚刚过去的二月中旬，TinyML2020峰会在硅谷举行。英伟达、ARM、高通、谷歌、微软、三星等公司展示了微机器学习的最新成果。这是TinyML峰会的第二届。TinyML2019峰会吸引了来自90多家公司的数百名工程师，本次峰会盛况空前，得出了很多重要结论：对于很多应用场景，TinyML技术和硬件已经发展到实用性很强的阶段；无论是算法、网络，还是100KB以下的ML模型，都取得了重大突破；视听领域对低功耗的需求正在快速增长。TinyMLSummit的主办方是2019年7月刚刚成立的TinyML基金会，其成员不仅包括各大知名公司，还包括GreeWaves、EtaCompute、Esperanto、Xnor、Picovoice等优秀的初创公司。技术的进步和生态的发展为TinyML的发展提供了巨大的动力。目前，TinyML的影响还在持续发酵。2020年势必会有一大批产品和解决方案问世，是一个值得把握和关注的领域。那么这篇文章就为大家总结一下TinyML的全景：什么是TinyML？什么是TinyML即服务？为什么TinyML很重要？TinyML市场规模预测TinyML最新产品有哪些？TinyML有哪些应用实践？TinyML相关组织01什么是TinyML机器学习(ML)变得越来越小。文章开头提到，TinyML是机器学习在微控制器上的应用，是一种超低功耗的边缘端人工智能。无论何时何地，数据都需要立即可用，而且这种趋势越来越明显。在这种需求的推动下，全球各行各业正在经历一场“数字化转型”。根据IDC的分析，到2025年，全球产生的数据中将有超过四分之一是实时的，其中物联网实时数据将占到95%以上。数据的洪流催生了一套全新的技术、机器学习、自然语言处理和人工智能，这些技术将数据分析从一种不常见的、回顾性的实践转变为战略决策和行动的主动推动者。这些技术可以大大提高跨各种行业、环境和应用程序的数据分析的频率、灵活性和即时性。同样根据IDC的预测，到2025年，全球属于数据分析的数据总量将增长到原来的50倍，达到5.2ZB；而机器学习“接触”到的分析数据总量将增加到原来的100倍，达到1.4ZB。目前现有的机器学习可以分为三种形式，cloudML、edgeML和TinyML。TinyML面向95%以上的物联网实时数据处理场景。因此，目前针对不同类型的计算平台、不同时期产生和使用的数据量，机器学习明确分为三种类型，发挥各自差异化的作用：CloudML：指机器学习在企业或云中特定计算数据中心的应用。这些云服务器涵盖公有云、私有云、混合云等所有类型。此外，它还包括运营控制中心，例如管理电网或电话网络的控制中心。EdgeML：指机器学习在不位于核心数据中心的企业级计算机/设备上的应用。边缘设备包括服务器机房、现场服务器和位于不同区域的小型数据中心，以实现更快的响应时间。TinyML：指超低功耗机器学习在物联网各种终端微控制器中的应用。TinyML通常消耗毫瓦(mW)或更少，因此它可以支持各种电池供电设备和始终在线的应用程序。这些设备包括智能摄像头、远程监控设备、可穿戴设备、音频采集硬件以及各种传感器等。纵观TinyML的发展现状，从算法、软件、硬件三个维度，TinyML已经进化到“足够好”，可以实际应用的阶段。TinyML是一个新兴领域，是一个由快速增长的机器学习技术和应用组成的巨大的、尚未开发的蓝海。数以亿计的微控制器和各种传感器的组合可能会在未来激发TinyML一些非常有创意和更实用的应用。TinyML简介：What：TinyML是指超低功耗（毫瓦量级）的边缘端机器学习应用。理由：TinyML可以提高大量物联网设备的数据分析和决策能力。方式：TinyML的实施需要硬件、软件和算法的整体协同设计。时间：现在是开始布局TinyML的最佳时机。TinyML中存在着巨大的机会，其中许多机会刚刚出现。这一领域可能会在未来一两年内取得重大进展。02什么是TinyML-as-a-Service（TinyML-as-a-Service）那么我们来看看什么是TinyML-as-a-Service。这是爱立信首创的理念。首先，我们需要明确区分机器学习在物联网终端中应用的两种方式：为物联网终端设备提供机器学习服务和将TinyML作为服务嵌入到物联网终端设备中。这两种表达方式看似相似，其实是不同的。.第一种情况，为物联网终端设备提供的机器学习服务，一般将所有的机器学习任务“外包”给边缘设备和云端服务器，终端设备作为接收者，“被动”地由边缘和云端服务器执行。云端发送的各种任务。第二种情况，TinyML-as-a-service嵌入物联网终端设备，“主动”参与智能决策和执行。尽管与云端和边缘相比，终端设备的资源非常有限，但TinyML作为一种服务仍然可以提高终端设备的分析能力，从而更好地处理实时物联网数据。因此，TinyMLasaservice真正将机器学习带到了物联网终端。看到这里，你可能会有一个疑问：机器学习生态系统非常庞大，资源密集。物联网设备可以执行哪些如此小的机器学习任务？为了更好地回答这个问题，我们先来说说TinyML和CloudML的区别，它们是两个截然不同的世界。上图是从硬件和软件的角度对TinyML和cloudML的差异进行了定性和定量的比较。与TinyML可以调用的资源相比，cloudML简直是“丰富”。为了向前发展，TinyML必须采用与云ML不同的思维方式。正如您在本文的原始三环图中所见，TinyML和Linux之间没有太多重叠。大量物联网设备不具备运行Linux的能力。TinyML不能使用许多成熟的工具、应用程序和基于容器的虚拟化技术。它必须找到新的方法来解决各种软件、硬件和算法极度短缺的问题，并部署ML服务。许多公司围绕TinyML做出了各种努力。在接下来的章节中，我们将介绍各种TinyML产品和最新实践。当然，在终端物联网设备上获得与云机器学习一样的体验是不现实的。TinyML主要实现推理，就是把训练中学到的能力应用到实际操作中。TinyML要想落地，需要一套完整的成熟架构。爱立信将TinyML-as-a-service生态系统拆分为三个基本组件：编译器插件接口、编排协议和推理模块规范支持这三个组件，表明物联网硬件可以满足实现TinyML-as-a的基本要求-服务。下图更详细地展示了这三个组件之间的交互：绿色代表编译器插件接口，黄色代表编排协议和推理模块规范两部分。要将TinyML实现为服务，需要面对的挑战极其艰巨：TinyML不仅需要面对边缘ML的所有困难，而且解决问题的能力也比较有限；如何借鉴cloudML的成功经验，顺利推进TinyML在终端的部署；如何为海量物联网设备提供良好的TinyML体验。03为什么TinyML很重要？看到这里，你应该对TinyML的重要性有了自己的评价。让我们再次统一。TinyML的出现是为了更好地缓解边缘ML和云端ML无法克服的各种问题，包括数据隐私、网络带宽、时延、可靠性和能效：数据隐私：大量终端用户非常关心数据隐私，在数据开放和共享上保持谨慎的态度。许多用户不愿意将自己的数据交给第三方云平台和边缘服务提供商进行存储和管理。许多用户更喜欢定义清晰的“本地”物理边界来存储他们的关键生产和运营数据。TinyML试图直接处理和分析物联网设备上受限的敏感数据，保护数据隐私。网络带宽：很多物联网设备通过NB-IoT或其他低功耗广域物联网通信协议与网络进行通信，带宽和数据传输能力极其有限。这些设备对数据的本地处理有很强的需求，以减少数据传输，降低网络带宽压力和传输功耗，避免终端和边缘设备之间的带宽瓶颈，影响整个物联网解决方案的性能。时延：随着5G等技术的发展，将会部署大量的物联网设备。很多应用场景对时延非常敏感，希望数据能够实时传输。TinyML通过将一些机器学习任务转移到设备本身，进一步降低了网络延迟的可能性。可靠性：在偏远地区、海上平台、空间站和极端环境的应用中，网络通信可能并不总是覆盖。因此，在这些物联网设备中，具备机器学习能力是必不可少的功能。TinyML可以在本地迁移一些边缘和云机器学习能力，以提高可靠性。能效：许多物联网设备都是电池供电的，对功耗的要求很高。通过极低功耗的TinyML的数据分析，减少网络传输的数据量，可以在一定程度上节省物联网终端的功耗。由于具有解决多种问题的潜力，并有望突破成本、带宽和功耗的限制，TinyML一经提出就受到了广泛关注并被寄予厚望。04TinyML市场规模预测大量物联网设备位于网络边缘，且这些设备趋向于变得越来越小，因此TinyML未来的发展具有很大的想象空间。目前全球有2500亿个微控制器在运行，仅2018年就售出了281亿个，ICInsights预测到2023年微控制器的年出货量将增长到382亿个。而且，这些微控制器对应的设备需要变得越来越聪明。也就是说，未来分布在烟雾传感器、心脏起搏器、车载终端中的2500亿个微控制器，或许能够完成以前只有电脑和智能手机才能完成的任务。据SilentIntelligence预测，未来5年，TinyML将引发超过700亿美元的经济价值，并保持27.3%以上的复合年增长率（CAGR）。TinyML的市场规模大于边缘ML和云ML。但如此巨大的市场很难开发。因此，TinyML涉及到不同公司的协作，公司之间的商业模式也有着根本的不同。以TinyML领域的人工智能SaaS服务商SensiML为例，其业务模型如下图所示。2019年1月，成立六年的SensiML被QuickLogic收购。根据QuickLogic的财务披露，QuickLogic在全股票交易中以1,169,752美元的总价收购了其所有已发行和流通在外的普通股。05TinyML的最新产品是由TopioNetworks编制的边缘智能产业地图。EdgeML是一个比较成熟的领域，很多公司都在深耕细作，其中不少也开始了TinyML的尝试。ARM、高通、谷歌、博世、苹果和微软等公司都在努力加速TinyML的实施，并将其安装在各种传感器上。例如，高通推出了超低功耗永远在线的计算机视觉解决方案。该方案具有超低功耗，常亮，使用标准锂电池，系统供电小于1mA，典型帧率1-30fps。相应的产品Qualcomm?QCC112已经商用。博世推出了支持TinyML应用的物联网MEMS传感器。Apple以2亿美元收购了TinyML初创公司Xnor.ai。Xnor.ai致力于开发高效、低功耗的TinyML应用程序，不需要强大的处理能力，也不需要连接到云端，而是在设备上处理本地数据。ARM最近宣布了两款芯片设计，即ARMCortex-M55和Ethos-U55，它们能够在没有云连接的情况下在设备上执行机器学习。ARM相信，这两款产品的推出，将开启终端智能化新时代。ARM设想的用例是智能手杖中的360度数摄像头，可以自动识别障碍物并向主人报告，或者安装在高铁上的智能传感器，可以现场发现问题并及时处理。及时报警，以免耽误时间。新产品的推出将大大提高ML推理速度和能效。不过，预计相关芯片最早也要到2021年初才能上市。除了巨头，初创公司在TinyML领域也非常活跃。GreenWaves使用多个RISC-V内核以超低功耗实现TinyML应用程序。其第二代产品GAP9拥有10个RISC-V内核。其中1个作为fabriccontroller，9个组成计算集群。这些控制器和计算集群在独立的电压和频率域中运行。并且通过支持最先进的FD-SOL处理技术，功耗进一步降低。EtaCompute的ECM3532适用于低功耗物联网，具有ArmCortext-M3和DSP两个内核。可在超长待机状态下实现图像处理和传感聚合，功耗仅为100微瓦。该芯片拥有512KB闪存和256KBSRAM，EtaCompute展示的案例包括语音、图像和视频识别，以及在工业传感场景的应用。06TinyML应用实践TinyML尚处于早期应用阶段，在部分领域已有初步实践：车辆应用：Swim.AI在实时数据传输过程中使用TinyML，通过有效提高实时数据的智能处理能力传感器中的时间交通数据，它减少了乘客的等待时间，交通拥堵的概率，改善了车辆的排放并提高了乘客的安全。智能工厂：在制造业中，TinyML可以通过支持实时决策来减少因设备故障而导致的计划外停机时间。它可以根据设备状况提醒工作人员在必要时进行预防性维护。QuickLogic旗下的SensiML在这一领域做出了很好的尝试。基于他们的产品，可以快速构建智能传感解决方案。而SensiML已经在工业预测性维护的相关场景中使用了TinyML。对于预测性维护应用程序的开发人员而言，SensiML智能软件工具包的优势在于它使开发人员能够在数天、数周内构建智能物联网传感设备，而无需数据科学或嵌入式固件专业知识。该软件包括SensiMLDataCaptureLab，这是一个用于收集和管理训练数据集的集成工具。对于预测性维护，数据集是来自各种传感器的时间序列数据。SensiML人工智能软件工具包分析标记数据以生成可实现异常检测的分类器算法。然后使用相同的工具编译算法以在所选硬件目标上运行，例如微控制器或QuickLogic自己的QuickAI片上系统平台。智能零售：TinyML可以通过监控店内货架并在商品数量低于特定水平时立即发送警报来防止零售端缺货。智能农业：农民可能因动物疾病而遭受严重损失。使用搭载TinyML的远程监控设备，实时监测牲畜的心脏、血压、体温和土壤温湿度，可以帮助农民预测和预防植物和牲畜流行病的爆发。07TinyML的相关组织每一项成功的技术都离不开核心团队和相关组织的进步。TinyML领域最活跃的组织是TinyMLFoundation，一个由工程师自发建立的社区。成立于2019年7月，经常进行小型交流，每年举办TinyMLSummit。如果你有兴趣，可以登录以下网站了解更多关于TinyML基金会和峰会的信息：https://tinymlsummit.org/----写在最后----TinyML会变得非常大，这个新生事物正处于逐渐成型的过程中，需要从软件端、硬件端、算法端、应用端等多方合作，才能有效构建完整的生态系统。我会持续关注该领域的最新动态。本文概要：1.TinyML是机器学习在微控制器上的应用，是一种超低功耗的边缘端人工智能。TinyML通常消耗毫瓦(mW)或更少，因此它可以支持各种电池供电设备和始终在线的应用程序。2.在终端物联网设备上获得与云机器学习相同的体验是不现实的。TinyML主要实现推理，就是把训练中学到的能力应用到实际操作中。3.TinyML是一个新兴领域，是一个快速发展的机器学习技术和应用，是一个巨大的、未开发的蓝海。
