当前位置: 首页 > 科技观察

边缘与云:选择哪种AI基础设施?

时间:2023-03-18 20:31:00 科技观察

边缘计算是最近的热门话题。被誉为近年来最激动人心的技术变革,关于其变革力量的讨论很多!随着越来越强大的AI/ML算法重新定义“智能”,以及更便宜、更强大的“边缘”设备的可用性,这种炒作大部分是真的。然而,如果要考虑边缘计算的历史,它比最近的兴趣让我们相信的要早得多。事实上,计算和智能最初是从边缘开始的,当时大多数应用程序几乎不存在高带宽网络连接。即使在20世纪90年代后期,远程部署在工厂或现场的关键测量设备通常也有专门的计算能力来处理传入的传感器数据。然而,这些设备中的算法在“智能”方面只是初级的:主要是信号处理或数据转换。随着网络功能和连接性的提高,基于云的计算在2000年代后期开始受到关注。与此同时,作为从大量结构化和非结构化数据中获取有意义信息的一种方式,强大的人工智能算法正在获得关注。短短十年时间,云端AI成为AI应用的首选。然而,向云端的转变也带来了几个问题:数据上传和下载成本、网络可靠性和数据安全性等等。与此同时,随着价格实惠但功能强大的边缘设备的兴起,边缘计算中处理能力与成本或占地面积之间的权衡正在减少。似乎我们现在又回到了考虑将“边缘计算”作为构建智能应用程序的可行且有吸引力的选择。随着关于边缘AI或云端AI哪个更好的争论愈演愈烈,任何熟悉这两种框架的人都可能会回答“这取决于!”。原因是边缘和云基础设施不是竞争而是互补的框架。两者在过去几年都经历了巨大的发展和完善,特别是作为人工智能开发和部署的基础。与任何技术选择一样,选择实际上取决于具体应用:目标、价值驱动因素、经济性以及对功率、尺寸和连接性的任何限制。因此,在尝试构建正确的基础架构之前,必须了解云和边缘AI的优缺点。在寻求灵活性、可扩展性和易于部署时,基于云的人工智能是一个有吸引力的选择。如今,大多数云服务提供商都提供强大的框架来训练和部署AI模型,并提供按需付费的套餐,几乎不需要前期承诺或投资。云提供几乎无限的计算和存储选项,使其特别适合大型AI模型。但对于需要连续评估传感器或图像数据的实时应用程序,这可能会成为一个笨拙的选择,因为它们必须来回传输数据,从而导致大量成本。这种数据传输还使得云在很大程度上不适合需要闭环控制或即时操作的低延迟应用程序。另一方面,边缘AI是用于自动警报或闭环控制的实时数据分析的合理选择。虽然边缘基础设施确实需要对边缘硬件进行前期投资,但与云相比,运营成本要低得多。如今,有多种边缘AI硬件可供选择,包括NPU(神经处理单元)、TPU(张量处理单元)以及带有专用AI加速器的SOC(片上系统)和SoM(模块上系统)。用于人工智能的低成本和低功耗硬件是一个活跃的研究领域,有可能提供更好的选择。另一方面,基于人工智能的消费者应用程序必须处理相当多样化的边缘设备(手机、平板电脑、个人电脑等),这使得边缘部署成为一个潜在的令人生畏的前景。因此,边缘基础设施可能不利于快速原型制作或轻松扩展。虽然联合学习、人工智能模型分布式训练的概念允许在边缘进行训练和部署,但云仍然是训练需要足够计算能力的大型模型的合理选择。但解决方案不一定是非此即彼的选择。随着应用程序过渡到更加基于微服务的架构,它们可以分解为更小的功能或具有自己特定部署框架的微服务。因此,不必在云和边缘之间做出选择,重点可以放在针对特定应用程序优化两者的使用上。例如,应用程序可能从云端的快速原型开始。随着它的发展,需要低延迟和实时决策的功能可以转移到边缘,而需要规模和灵活性的功能可以保留在云端。模型训练或再训练可以在云端集中管理,而边缘的一些联邦学习可以在本地提高准确性。同样,敏感数据可以在边缘处理,而更一般的数据可以移动到云端。组织、开发人员和从业者最好不要将云和边缘视为截然不同的替代方案,而应将其视为从边缘到云的连续统一体,中间有许多不同的基础设施选项。这包括不同类型的边缘——操作边缘、网络边缘、移动端点等,以及网络上不同类型的分布式处理——私有云、公共云、小型云、雾计算等。虽然复杂性可能是一个挑战,找到正确的技术组合开始为组织提供独特的机会,以最大限度地发挥AI的价值,同时最大限度地降低成本和风险。