边缘AI允许实时机器学习和本地化处理，从而实现即时数据处理、详细的安全性和增强的客户体验。与此同时，许多企业都在寻求将人工智能推向云端，这可以减少实施障碍、改善知识共享并支持更大的模型。前进的道路在于找到平衡，利用云和边缘的优势。集中的云资源通常用于训练深度学习推理模型，因为开发准确的模型需要大量的数据和计算。生成的模型可以部署在中央云位置或分发到边缘设备。边缘人工智能和云端人工智能相辅相成，云端资源几乎总是与边缘人工智能用例相关。在一个完美的世界中，我们会将所有工作负载集中在云中以实现简单性和扩展性，但是，延迟、带宽、自主性、安全性和隐私等因素使得必须在靠近数据AI模型的边缘部署更多。来源。一些训练在边缘进行，人们越来越关注联邦学习的概念，它侧重于对数据区域的处理，同时集中结果以消除区域偏差。边缘人工智能的兴起更好的网络基础设施和新的边缘计算架构的兴起正在打破集中式云人工智能和分布式边缘人工智能工作负载之间的障碍。它的优势是基础设施的巨大新兴变化，它通过增加分布在世界各个角落的信息技术层来补充云。我们相信边缘人工智能将引发一场与云技术获得牵引力一样大的革命。如果设计得当，EdgeAI将为自动缩放开辟新的机会，因为每个新用户都会为集体工作负载带来一台全新的机器。边缘还提供了对更多原始输入数据的更好访问，而云AI解决方案必须使用预处理数据来提高性能或处理庞大的数据集，带宽可能成为一个严重的问题。将事物移至边缘的原因是为了获得更好的响应时间。速度和延迟对于计算机视觉和5G虚拟无线电接入网络等应用至关重要。另一大好处是通过限制上传到云端的数据来改善隐私。EdgeAI的部署也充满了限制，包括网络延迟、内存压力、电池耗尽，以及进程可能被用户或操作系统后台处理的可能性。在边缘从事AI开发的开发人员需要针对约束进行规划，尤其是在探索手机等常见用例时。互补方法大多数专家将边缘和云方法视为更大战略的互补部分。CloudAI更适合批处理学习技术，它可以处理大型数据集以构建更智能的算法，从而快速、大规模地实现最大准确性。EdgeAI可以执行这些模型，而云服务可以从这些模型的性能中学习并应用于底层数据以创建一个持续的学习循环。获得正确的平衡——如果您完全致力于边缘人工智能，您将失去持续改进模型的能力。没有新的数据流，您就无处可利用。但是，如果您完全致力于云AI，则可能会危及数据质量——由于使其可上传所需的权衡，以及缺乏反馈来指导用户捕获更好的数据——或数据量。边缘AI补充了云中的AI，在需要时提供对即时决策的访问，并利用云获得更深入的见解或需要更广泛或更垂直的数据集来驱动解决方案的见解。例如，在互联汽车中，汽车上的传感器提供实时数据流，这些数据会得到持续处理并做出决策，例如应用制动器或调整方向盘。相同的传感器数据可以流式传输到云端以进行长期模式分析，这可以提醒车主紧急需要维修，从而防止未来发生事故。另一方面，云AI补充了边缘AI以推动更深入的洞察力、微调模型并继续增强他们的洞察力。云计算和边缘AI协同工作，根据边缘新数据不断提供的更深入洞察力做出即时需求决策。培训工作流程让边缘AI和云AI协同工作的主要挑战是程序和架构。需要设计应用程序，以便在它们之间有目的地拆分和协调工作负载。例如，支持边缘的摄像头可以处理来自传感器的所有信息，而不会因无关数据使网络过载。然而，当最终在边缘检测到感兴趣的对象时，可以将相关帧广播到更大的云应用程序，该应用程序可以存储以供进一步分析（例如，帧中对象的子类型是什么，它的属性是什么)，并与人类主管分享分析结果。一种策略是创建一个架构，以平衡模型和数据的大小与数据传输的成本。对于大型模型，留在云端更有意义。有一些方法可以减小模型大小来帮助解决这个问题，但是，如果您使用的是非常大的模型，您可能希望在云中运行它。在其他情况下，当在边缘生成大量数据时，在本地更新模型然后将其中的一个子集反馈回云端以进行进一步优化可能更有意义。开发人员在推理敏感数据时还需要考虑一些隐私问题。例如，如果开发人员想要通过手机摄像头检测中风的证据，应用程序可能需要在本地处理数据以确保HIPAA合规性。该框架将不断发展，以提供更多关于在哪里训练以及如何提高可重用性的选择。例如，TensorFlow.js使用WebGL和WebAssembly（有利于隐私、低延迟、利用桌面或移动GPU资源等）在浏览器中运行，但也可以加载云训练模型的分片缓存版本。模型交换格式（例如，开放神经网络交换）也可以增加模型在不同环境中的流动性。Sletten建议探索LLVM等工具，这是一个开源编译器基础设施项目，可以更轻松地从应用程序运行的环境中抽象出应用程序。将更多AI从云端转移到边缘需要适应的关键挑战之一是神经网络可以在边缘AI芯片中高效运行的架构。智能行车记录仪提供商。通用计算平台，例如云服务器中的计算平台，可以运行任何网络架构。这在边缘AI中变得更加困难。必须修改架构和经过训练的模型才能在边缘的AI芯片组上运行。这是一个巨大的挑战，因为用户可能会从高性能移动网络驶入盲区，并期待良好的性能。在推理过程中，没有足够的网络带宽将所有数据从边缘移动到云端，但用例需要对本地推理输出进行全局聚合。EdgeAI可以运行神经网络来帮助过滤必须发送到云端以进行进一步AI处理的数据。在其他情况下，云AI训练可能会导致神经网络模型层数过多，无法在边缘设备上高效运行。在这些情况下，边缘AI可以运行更轻量级的神经网络，创建一个压缩程度更高的输入的中间表示，以便将其发送到云端进行进一步的AI处理。在训练期间，边缘和云AI可以以混合模式运行，以提供类似于“虚拟主动学习”的东西，其中边缘AI筛选大量数据并“教”云AI。边缘AI芯片组支持的神经网络架构类型有限，而且通常比云中可能的架构落后几个月。解决这些限制的一种有用方法是使用编译器工具链和堆栈，例如ApacheTVM，它们有助于将模型从一个平台移植到另一个平台。另一种方法是使用已知在边缘AI中运行良好的网络架构，并直接针对目标平台对其进行训练。他发现，在训练数据充足且种类繁多的情况下，这种方法在绝对性能方面往往优于跨平台编译器方法。但是，它也需要在训练期间以及预处理和后处理过程中进行一些手动工作。边缘和云AI之间的常见权衡开发人员需要在云和边缘AI之间做出的一些最常见的权衡包括：处理能力：边缘计算设备通常功能较弱且难以更换或升级。延迟：云计算速度很快，但还没有为驾驶或工业控制等实时应用做好准备。能源消耗：大多数设计人员通常不必像考虑边缘那样考虑云的能源限制。连接性：当连接性下降时，自动驾驶汽车等安全关键型服务无法停止工作，从而将实时AI驱动决策的处理推向边缘。安全性：出于安全原因，用于驱动身份验证和处理指纹或医疗记录等敏感信息的人工智能服务通常最好在本地完成。即使部署了非常强大的云安全性，用户在边缘处理时获得更好的隐私感也可能是一个重要的考虑因素。
