前言存储系统是IT系统的重要组成部分,负责为可靠的数据提供存储能力。当前信息技术领域的热点仍然是云计算、人工智能、大数据分析、5G驱动的物联网,而面向传统企业级应用的IT系统也日趋完善。当前IT市场格局主要由互联网厂商、传统IT厂商、新兴科技公司组成,IT系统的建设和部署主要包括公有云、企业自建数据中心(On-Premises)、以及边缘计算近两年的发展。Gartner今年7月发布的《2022年存储与数据保护技术成熟度曲线报告》显示了以下未来存储市场趋势:到2025年,为支持主存储工作负载而部署的外部企业存储阵列中有30%将使用NVMe-oF,而到2021年,这一比例不到5%。到2025年,60%的存储领导者将至少实施一种混合云架构,高于2022年的15%。到2025年,超过40%的企业存储将部署在边缘,高于2022年的15%。到2026年,大型企业将在数据中心、公共云和边缘部署比2022年多三倍的非结构化数据容量,以存储文件和对象数据。下面将分析存储技术在数据中心、公有云、边缘计算三大部署场景下的发展趋势。1、数据中心(On-Premises)存储技术发展趋势数据中心主要承载企业的生产业务,主要是ERP、CRM、SCM等传统应用。目前此类应用主要采用全闪存存储,NVMe全闪存逐渐成为主流趋势。同时,采用NVMeoverFabrics(NVMe-oF)作为存储和前端应用主机的网络存储协议。NVMe-oF是一种存储网络协议,它通过网络将NVMe命令传输到远程NVMe子系统,以利用NVMe全闪存的并行访问和低延迟。该规范定义了一个协议接口,旨在与高性能结构技术一起使用,包括通过InfiniBand、RoCEv2、iWARP或TCP实现RDMA技术。NVMe-oF是一种使用NVMe协议扩展对远程存储系统的非易失性存储器(NVM)设备的访问的方法。这使得前端能够连接到存储系统,扩展到大量NVMe设备,并扩展数据中心内NVMe子系统的访问距离。NVMe-oF的目标是显着改善数据中心网络延迟,为远程NVMe设备提供类似于本地访问的延迟,目标是10us。未来NVMeoverTCP很有可能发展成为NVMe-oF非常重要的数据中心传输机制。VMware已经宣布在2021年正式支持NVMeoverTCP。目前对NVMe-oF的软件支持还处于起步阶段,但随着其规模的扩大和成熟,金融、电信运营商等信息化建设的龙头企业要么使用NVMeoverRoCEv2部署NVMe-oF,或使用基于TCP的DeployNVMe-oFonNVMe/IP产品以利用最新的以太网部署,简化过渡并提供投资保护。目前,基于NVMe和NVMe-oF的解决方案的主要应用场景包括关系数据库或内存数据库的事务处理、AI/ML、HPC等需要高IOPS、高带宽和极低访问延迟的场景。2、公有云存储技术发展趋势公有云目前基于软件定义存储技术,采用分布式存储架构,提供分布式块存储、对象存储和分布式文件访问服务。目前,公有云存储技术有两种新的发展趋势:xPU和容器存储。(1)xPU技术xPU包括SmartNIC、DPU(DataProcessingUnit)、IPU(InfrastructureProcessingUnit)、FAC(FunctionAcceleratorCard)、NAPU(NetworkAttachedProcessingUnit)等,这是一类具有专用硬件加速器的设备可编程处理器,可以加速网络、安全和存储功能,为数据流、数据包处理提供性能优化,提供加速、卸载和本地服务,部署为ASIC、FPGA或SoC。除了能够连接到网络之外,xPU还提高了数据操作和服务、服务器可用性以及网络性能和安全性。xPU具有板载内存和各种网络接口,可以独立运行。xPU通过卸载虚拟交换、安全和应用程序交付控制(ADC)等功能,将服务器性能提高多达50%。目前xPU主要被AWS、微软Azure、阿里云等公有云使用。xPU可在提高性能的同时实现经济高效的数据中心环境。通过卸载高开销的各种功能,它们允许服务器运行更多的工作负载,从而提高服务器的资源利用率,并且在某些情况下,降低基础设施软件的许可费用。AI/ML工作负载、3D建模、地震分析和大数据分析的兴起对存储和网络提出了前所未有的需求,从而引发了延迟和带宽问题。xPU也越来越多地用于高性能全闪存存储系统,以提高IOPS并最大限度地减少延迟。xPU可提供基于fabric的NVMe-oF和GPU直存,实现NVMe-oF加速和AI/ML加速,加速异地资源间的数据传输,可用于HPC、AI/ML等应用场景,以及各种高-性能分析。(2)容器原生存储(ContainerNativeStorage)公有云环境需要新的数据管理工具和流程,以提供存储服务,这些服务由运行在容器中的有状态应用程序访问并由K8S编排。K8S存储标准化得益于云原生计算基金会(CNCF)推动的容器存储接口(CSI)的引入和日益普及。容器原生存储(CNS)专为支持容器工作负载而设计,专注于满足独特的云原生架构、粒度和性能要求,同时提供与容器管理编排系统的深度集成。CNS符合微服务架构原则,遵循容器原生数据服务的要求,包括硬件无关、API驱动、基于分布式的软件架构。许多基于容器的应用程序需要支持持久数据。容器原生存储专为运行云原生应用程序而设计。它的共同基础通常是基于一个分布式的、软件定义的统一存储池,具有容器级的数据服务粒度。整个容器原生存储堆栈通常使用K8S进行编排,以管理容器生命周期集成。容器存储支持部署有状态的云原生应用程序,提高弹性、可用性以及混合和多云集成,并消除构建和部署现代云原生应用程序的端到端过程中便携式基础架构敏捷性的瓶颈.容器原生存储可以部署在本地或云端,是混合和多云部署基础设施的最佳选择。因为CNS功能是基于软件的,所以它们可以在容器中实现,允许它们使用与容器化应用程序相同的编排功能进行管理。容器存储最适合新的云原生应用程序,或将进行重大重构修订的应用程序。未来公有云会选择符合微服务架构原则和容器原生数据服务要求的存储方案,比如硬件无关、API驱动、基于分布式架构,可以支持边缘、核心或公共云部署。3、边缘计算存储技术发展趋势边缘计算包括很多具体的应用场景,如加密、视频编码、AI/ML人脸识别等,其特点是数据必须在本地处理,处理结果传输到数据中心或通过网络。在公共云/混合云中。目前的技术局限主要在于本地数据处理能力和网络传输带宽不足。通过压缩/解压引擎,使硬盘每GB闪存存储更多数据,并在窄带内保持高传输性能是边缘计算的核心存储需求,最新流行的计算存储将成为最适合边缘计算的存储。计算。最好的存储技术。计算存储将主机数据处理从CPU主内存卸载到存储设备,涉及位于存储设备上的更复杂的处理功能。计算存储采用FPGA和ASIC更强大的处理能力,在SSD上配置低功耗CPU内核。由于需要将操作任务卸载到SSD驱动器,主机应用程序必须能够与计算存储的存储驱动器充分通信。存储网络行业协会(SNIA)发布了计算存储V1.0标准,这是一个开放标准框架,使主机服务器应用程序能够与计算存储设备进行交互。计算存储是一种新型存储驱动器,可为延迟敏感的应用场景提供一致的性能,例如AI/ML、物联网、沉浸式和混合现实流媒体,以及本地和边缘的高频交易。边缘计算是计算存储应用的主要场景,受益于分布式处理和能效的应用未来也可以利用计算存储。在边缘计算中,计算存储减少了与应用程序相关的内存管理挑战,从而解决了与存储相关的数据移动问题。与传统SSD相比,计算存储的低功耗和小占用空间提高了每瓦性能,从而降低了边缘应用的电力成本。同时,将更强大的嵌入式计算引擎与SSD控制器集成,可以大大减少数据处理时间,提高压缩效率,并改善其他关键驱动功能。计算存储在存储和应用计算资源之间移动数据时降低性能低效、能耗和延迟敏感性,就近处理数据并分析数据生成和存储的位置,使用户能够在设备级别提取业务分析数据。随着数据量的增加和数据移动网络带宽成为瓶颈,计算存储可以显着减少边缘工作负载的延迟。存储效率的显着提升和成本的降低将使计算存储成为边缘计算的最佳技术选择。但是,无论是哪种存储,企业用户都必须考虑性能、可靠性、稳定性、备份和容灾等,在面临核心业务应用场景的解决方案选择时对开源存储持谨慎态度。尤其是对安全性和稳定性要求比较高的金融客户,也面临着后续软件维护、更新迭代等一系列技术挑战。因此,在核心业务、生产系统、大规模部署的情况下,企业用户选择存储系统的观念还是比较“保守”的。与开源存储相比,自研存储系统仍然是企业用户核心业务的首选。
