当前位置: 首页 > 科技观察

RDMA是数据中心存储结构的未来吗?

时间:2023-03-11 23:52:44 科技观察

存储级内存,如闪存、NVMe和英特尔的Optane正在显着增加存储容量,非常适合驱动最大存储需求的工作负载,例如容器、大数据、机器学习和超融合基础架构,所有这些技术和应用程序都使用文件和对象存储而不是SAN块存储。但除了高速存储之外,这些工作负载还需要低延迟网络、线程不阻塞的CPU,尤其是使用软件定义网络的超融合系统。以太网是众所周知的协议。安装以太网的网络没有光纤通道的复杂性和脆弱性。在这种情况下,必须考虑电缆在安装过程中弯曲的角度,以及电缆的长度受到限制。传输速度不限于10Gb/s,还可以移动到25Gb/s、40Gb/s或100GB/s。但是TCP(传输控制协议)的开销很大,这意味着CPU会花费大量时间来管理写入密集型工作负载(例如数据库)的网络传输,从而降低这些工作负载的整体性能。这就是RDMA(远程直接内存访问)发挥作用的地方。WindowsServer高级项目经理JeffWoolsey最近在微软的Ignite技术会议上指出,“当你对系统进行大量写入时,超融合系统的性能会下降。如果你有一个节点做70%写入,并且必须尽快复制到另一个节点,如果您不执行RDMA,则CPU必须介入以执行操作,并且在10Gb以太网NIC上写入很容易占用一个完整的或两个CPU资源。”RDMA直连可以减少对CPU的影响,而像NVMe或SCM这样的快速存储可以将网络延迟从毫秒级降低到微秒级。“存储网络采用RDMA(专门面向NVMe的架构,因为这似乎是该领域的标准)是为了满足大数据分析存储性能越来越严格的要求,尤其是那些实时工作负载,更大的数据库以及更密集的工作负载整合,”IDC企业存储研究总监EricBurgener说。他补充说,虽然NVMe协议还不成熟,但他预测“在未来三到四年内,外部存储平台将在协议栈、阵列背板、控制器和结构方面朝着NVMe的方向发展。”今年早些时候,英特尔公司直接将RDMA技术应用到至强服务器的主板上。DataON使用新的LightningTracSystemWindowsServer2016超融合系统,其中包括OptaneSSD、用于缓存层的NVMe和SMB3RDMA结构。现在,HPE在其新的StoreFabricM系列存储优化交换机中使用Mellanox基于RDMA的以太网存储结构,为客户提供用于光纤通道的存储管理工具。同样在今年的Ignite会议上,一家名为Chelsio的公司展示了WindowsServer2016存储副本以25Gbps的速度运行,使用带有RDMANIC的SMB3,超过50公里的光纤环路(这种城域连接扩展设备不需要)。Windows10甚至支持RMDA。好莱坞后期制作公司正在使用NVMe将大多数Mac工作站和六位数的光纤通道SAN直接替换为WindowsPC和WindowsServer存储空间,以便他们可以使用RDMA快速访问4K文件进行视频编辑和VR创作。StorageMojo分析师RobinHarris表示,为了获得高效的存储系统,企业必须做出取舍。“采用光纤通道是有意义的,因为存储阵列非常昂贵并且共享它们需要支付投资。今天,企业可以拥有独立的PCIe卡,其速度与大多数存储阵列一样快,并以一小部分成本提供更大的带宽。A“存储阵列成本的一小部分。因此,在这种情况下,重点已从如何共享昂贵的资源转移到如何共享廉价资源。”考虑到在这种情况下成本至上,经济学家更喜欢成本最低的网络。以太网是低成本网络吗?是的。一旦这种协议和技术广泛可用,我预计大多数新建的存储网络将是以太网-基于,RDMA是为基于共享服务器的存储提供经济且低延迟解决方案的关键要素。HPE的交换机使用RDMA这一事实证明了该技术的可行性,Harris说。“从市场的角度来看,更大的问题是是否其他供应商将效仿HPE的做法,”他说。扩展光纤通道虽然下一代架构不是建立在光纤通道之上,但这并不重要。这意味着它正在消失。Harris说,“我相信全盛时期光纤通道时代结束了。然而,至少在未来十年内,将会有一个庞大的安装基础继续推动光纤通道市场。Burgener对此表示赞同:“以太网在存储方面的使用显然在上升,但根据我们对市场的收入预测,2017年光纤通道的市场规模更为可观(以太网为9.6亿美元,光纤通道为117亿美元)。NVMe可以在光纤或以太网上运行,我认为以太网将继续在光纤市场中缓慢夺取收入,但我们对2021年以太网和光纤通道的预测分别为9.8亿美元和115亿美元。“企业数据中心倾向于投资更多“在光纤通道中继续购买,这样他们就可以继续利用现有的光纤通道网络和管理专业知识,”Burgener说。随着以太网的发展,越来越多的企业开始使用这种方法。“很少有客户会从以太网转向光纤通道,但人们会看到基于以太网的存储网络出现在已经为新项目或部门项目大量投资光纤通道的企业中。Thunderbolt被证明是小型系统RDMA的替代方案网络成本可能过高的地方(例如对于分支机构中的节点或边缘计算所需的任何其他多TB存储。IntelThunderbolt3USB-C适配器已通过WindowsServer2016认证,DataON推出了双节点超-融合存储系统,为用户提供40Gbps和200KIOPS,CPU占用率仅为20%,虽然不如RDMA,但比以太网提升了CPU效率,10TB的存储成本仅为9000美元。