边缘计算是一个难题，为IT架构师和嵌入式开发人员提供了多种选择。最终，它可以创建边缘AI，从而实现更快、更丰富的决策。基于人工智能的机器学习技术已经超越了基于云的数据中心，因为重要的物联网传感器数据的处理越来越靠近数据最初所在的位置。此举将通过配备新人工智能(AI)的芯片来实现。这些产品包括比GPU（图形处理单元）、FPGA（现场可编程门阵列）和其他首先用于亚马逊网络服务、微软和谷歌云数据中心的专用IC类型具有更小内存和功率要求的嵌入式微控制器解决了这些问题的数据科学家。机器学习和相关神经网络正是在这些云服务中爆炸式增长的。但是，物联网兴起带来的数据冲击也需要基于边缘的机器学习。现在，云提供商、物联网(IoT)平台制造商和其他企业看到了在将数据移交给云端进行分析之前在边缘处理数据的好处。在边缘做出AI决策可减少延迟，并使对传感器数据的实时响应更加可行和适用。尽管如此，人们称之为“边缘人工智能”的形式有很多种。以及如何用下一代物联网支持它在呈现高质量的可操作数据方面提出了挑战。边缘计算工作负载增长基于边缘的机器学习可能会推动物联网市场中人工智能的显着增长，MordorIntelligence估计到2026年的复合年增长率为27.3%。EclipseFoundationIoTGroup在2020年的研究支持了这一点，人工智能占物联网开发人员最常提到的边缘计算工作负载的30%。对于许多应用程序而言，复制无穷无尽的服务器机架以在云上启用并行机器学习是不可行的。受益于本地处理的物联网边缘案例很多，并以各种运营监控案例为重点。例如，处理器可以监控由石油钻井平台上压力表的变化、远程电力线上检测到的异常或在工厂捕获的视频片段触发的事件。最后一种情况是使用最广泛的一种。在边缘分析图像数据的AI应用已证明是肥沃的土壤。然而，使用物联网设备收集的数据进行事件处理有许多复杂的处理要求。边缘计算的价值根据HyperionResearch高级顾问史蒂夫康威的说法，基于云的物联网分析将继续存在。然而，数据必须传输的距离引入了处理延迟。将数据移入和移出云自然会引入延迟，而且往返需要时间。“有一种东西叫做光速，”康威打趣道。“而且你不能超越那个。”因此，处理的层次结构正在边缘发展。除了设备和板级实施之外，该层次结构还包括制造中的物联网网关和数据中心，它们扩展了可用于下一代物联网系统开发的架构选项。SAS物联网和边缘部门产品营销高级经理SaurabhMishra表示，从长远来看，边缘AI架构是数据处理重点的另一代转变，但它是关键。“这方面取得了进展，其想法是集中你的数据。你可以为某些行业和某些用例（那些已经在数据中心等环境中创建数据的用例）做到这一点，”他说。Mishra表示，SAS已经创建了一个经过验证的边缘物联网参考架构，客户可以在该架构上构建AI和分析应用程序，而这些应用程序不可能高效、经济地迁移到云端进行分析。在云端和边缘AI之间取得平衡将是一项基本要求。Eclipse基金会物联网和边缘计算项目经理FrédéricDesbiens表示，要找到平衡点，首先要从运行机器学习模型所需的数据量开始。这就是新的智能处理器发挥作用的地方。“边缘的AI加速器可以在将数据发送到其他地方之前在本地处理数据。但是，这需要您考虑功能要求，包括所需的软件堆栈和存储，”Desbiens说。AI边缘芯片的兴起丰富了基于云的机器学习，受到高内存带宽GPU兴起的影响，通常以NVIDIA半导体的形式出现。这一成功引起了其他芯片制造商的注意。内部AI专用处理器紧随其后的是超大规模云玩家谷歌、AWS和微软。AI芯片大战让AMD、英特尔、高通、ARM科技（去年被英伟达收购）等龙头并驾齐驱。反过来，MaximIntegrated、NXPSemiconductors、SiliconLabs、STMMicroelectronics等主流嵌入式微处理器和片上系统也开始致力于为边缘添加AI能力。如今，物联网和边缘处理需求吸引了AI芯片初创公司，包括EdgeQ、Graphcore、Hailo、Mythic等。目前，边缘处理是有限的。障碍包括可用内存、功耗和成本，Hyperion的SteveConway强调说。“嵌入式处理器非常重要，因为功耗非常重要，”Conway说。“GPU和CPU都不是小芯片，尤其是GPU耗电量很大。”执行董事KrisArdis表示，数据移动是边缘能源消耗的一个因素。最近，该公司发布了MAX78000，这是一款将低功耗控制器与神经网络处理器配对的设备，可在电池供电的物联网设备上运行。“如果你能在最边缘进行计算，你就可以节省带宽和通信功率。挑战在于采用神经网络并将其安装到适当的配件中，”Ardis说。他指出，基于该芯片的单个物联网设备可以为物联网网关提供动力，该网关还可以在聚合来自设备的数据和进一步过滤可能流向云端以分析整体操作的数据方面发挥重要作用。其他半导体设备制造商也在适应计算越来越接近数据所在位置的趋势。它们是扩展开发人员能力的一部分，即使他们的硬件选项在增加。英特尔物联网集团副总裁比尔·皮尔森承认，曾经有一段时间“CPU是一切的答案”。边缘人工智能等趋势现在掩盖了这一点。他使用术语“XPU”来指代支持不同用途的各种芯片类型。但是，他补充说，这种多样性应该通过单一的软件应用程序编程接口(API)来支持。为了帮助软件开发人员，英特尔最近发布了用于边缘系统推理的OpenVINO工具包2021.2版。它为包括CPU、GPU和Movidius视觉处理单元在内的英特尔组件提供了一个通用的开发环境。Pearson说，英特尔还为边缘软件提供DevCloud，以预测神经网络推理在不同英特尔硬件上的性能。NVIDIA企业和边缘计算部门副总裁兼总经理JustinBoitano表示：“该行业必须让非AI专家的工作变得更轻松。这可以采用NVIDIAJetson的形式，其中包括一个低功耗ARM处理器。Jetson以60年代的科幻卡通系列命名，旨在为移动嵌入式系统提供GPU加速并行处理。最近，为了简化视觉系统的开发，NVIDIA推出了JetsonJetPack4.5，其中包括其视觉编程接口(VPI)的第一个生产版本。Boitano说，随着时间的推移，边缘AI开发的繁琐工作将更多地由IT部门处理，而不是由对机器学习有深刻理解的AI研究人员处理。TinyML的兴起在终端和边缘端微处理器上实现的机器学习过程被称为微型机器学习（tinyML）。将机器学习方法从广阔的云迁移到受限的边缘设备所需的技能并不容易获得。但是，正在应用新的软件技术来在边缘启用紧凑型人工智能，同时减少开发人员的工作量。事实上，业界已经经??历了“TinyML”方法的兴起。这些函数以较低的功耗执行工作并使用有限的内存，同时实现每秒推理。出现了各种减少边缘处理要求的机器学习工具，包括ApacheMXNet、EdgeImpulse的EON、Facebook的Glow、FoghornLightningEdgeML、GoogleTensorFlowLite、MicrosoftELL、OctoML的Octomizer等。减少神经网络处理的规模是这里的主要目标，还有很多这样的技巧。这些包括量化、二值化和校正，Foghorn的首席技术官SastryMalladi说，Foghorn是一个支持多边缘和本地实施的软件平台制造商。神经网络处理的量化侧重于低位宽数学的使用。反过来，二值化用于降低计算复杂度。此外，校正用于减少必须处理的神经节点的数量。Malladi承认，对于大多数开发人员来说，这是一项艰巨的任务，尤其是在一系列硬件上。他说，Foghorn的Lightning平台背后的努力旨在抽象出边缘机器学习的复杂性。例如，目标是让生产线操作员和可靠性工程师使用拖放式界面，而不是应用程序编程界面和软件开发工具包，后者不太直观，需要更多编码知识。嵌入式机器学习开发平台制造商EdgeImpulse也专注于简化开发并在多种类型的EdgeAI硬件上运行的软件。EdgeImpulse首席执行官ZachShelby表示，最终，机器学习的成熟意味着模型的小型化。“研究的方向是越来越复杂的模型越来越大，”谢尔比说。“然而，随着机器学习进入黄金时期，人们开始重新关注效率。”因此引入了TinyML。他说，必须有可以在现有物联网基础设施上运行同时支持新硬件品种的软件。Shelby继续说，EdgeImpulse工具允许在可用硬件上对算法和事件进行基于云的建模，因此用户可以在做出选择之前尝试不同的选项。着眼于边缘化的未来，计算机视觉已成为AI的一个重要用例，尤其是深度学习的形式，它采用多层神经网络和无监督技术来实现图像模式识别的结果。ForresterResearch首席分析师KjellCarlsson表示，随着大多数边缘摄像头通过嵌入式硬件增加深度学习处理能力，当今的视觉系统架构正在发生变化。但找到最佳应用目标可能是一项挑战。“人工智能的问题在于你最终会更多地关注‘新’用例，”他说。Carlsson表示，开发这些未开发的解决方案存在固有风险，因此一个有用的策略是专注于具有高成本效益比的用例，即使模式识别的准确性可能落后于成熟的现有系统。总的来说，Carlsson说边缘AI可以帮助实现物联网的最初承诺，但有时会随着实施者对各种潜在用例进行分类而滞后。“物联网本身有一些局限性。现在，在人工智能、机器学习和深度学习的帮助下，物联网变得更加适用——而且非常有价值，”他说。
