当前位置: 首页 > 科技观察

如何构建AI存储架构

时间:2023-03-15 09:37:15 科技观察

今天,人们越来越关注数据的处理和存储方式:生成了多少数据,在何处创建,利用它所需的工具,管理它所需的技能短缺,和更多。这改变了组织在数据中心和云平台中的运作方式,并规定了技术供应商正在开发的许多产品路线图。自动化、数据分析、人工智能、机器学习以及在本地和云平台之间轻松移动应用程序和数据的能力是OEM和其他技术参与者的优先事项。由于大流行,这一切都在发生变化,大流行正在加速组织将其运营迁移到云端,并促使他们的员工在家远程工作。即使冠状病毒的爆发得到控制,这种趋势仍将持续。在过去的几个月里,许多原始设备制造商特别积极地扩展他们在存储领域的产品,这在帮助组织弥合数据中心、云计算和网络之间的差距以及如何处理海量结构化数据方面发挥着核心作用,特别是正在创建的非结构化数据。从过去几个月一些大型供应商发布的公告中可以看出这一点。DellEMC加强了其存储产品组合以满足当今组织的需求。公司发布PowerStore闪存系统,依托存储级内存(SCM)、NVM-Express和基于人工智能的软件等技术,为PowerStoreforHybridCloud设计了云计算验证软件。一个月后,DellEMC推出了用于非结构化数据的PowerScale,将OneFS操作系统与Isilon硬件分离,并将其与PowerEdge系统配对。DellEMC还与谷歌云平台合作创建其OneFS操作系统,将文件数据管理引入公共云,使组织能够处理本地设施和谷歌云平台之间的数据密集型工作负载。这些公司还在本地设施中使用Isilon文件系统,同时在GoogleCloudPlatform中使用计算和分析服务,因此组织可以在两个操作环境之间的单个文件系统中移动高达50PB的工作负载。当然,不只是DellEMC这样做。HPE增强了其Primera和Nimble存储产品线,使其更加智能化和自动化,以及升级即服务。部分升级是通过HPE的InfoSight预测分析平台完成的,使系统更加智能,能够更好地预测和预防问题。用于高端存储的Primera系统可以基于人工智能平台的智能自动运行,而InfoSight使Nimble系统(用于存储工作负载)能够提供跨堆栈分析以简化VMware和MicrosoftHyper的虚拟机(VM)管理,该供应商还为Primera提供所有NVMe支持,为Nimble提供存储级内存(SCM)。PureStorage最近发布了Purity6.0版本,使其FlashArray系统能够在同一系统上原生支持文件和块存储。PureStorage在6月份的虚拟Accelerate会议上发布了其最新版本的存储操作系统。IBM表示,它将使用新的存储硬件和软件,旨在支持AI优化工作负载所需的基础设施。围绕人工智能构建更智能的业务是该公司的一项重要使命,去年IBM以240亿美元的价格收购了RedHat,并进一步拥抱云计算。IBM在其大部分领域都采用了AI,例如它使用Watson技术所做的事情以及集成数据和AI平台的IBMCloudPakforData。IBM全球存储渠道副总裁兼首席营销官EricHerzog表示,通过新的存储产品,IBM正在帮助创建一个架构,该架构可以支持AI和分析优化的工作负载组织正在开展的工作。为了有效地运行此类工作负载,组织需要能够收集、组织和分析数据,然后使用这些信息来加速业务决策以及产品和服务开发。这意味着确保访问所有必要的数据源,并一起管理和分析数据,无论数据位于何处。“如果没有这种信息架构,组织就很难成功实施他们的人工智能、分析或大数据工作,”赫尔佐格说。许多组织正在采用这些技术。人工智能最初应用于高性能计算(HPC)和超级计算。领域,其应用正在从大型组织扩展到中小型组织。”IBM推出了ElasticStorageSystem(ESS)5000,这是一款针对数据收集进行了优化并为湖泊长期设计的全硬盘驱动器阵列。其2U系统补充了ESS3000,ESS3000是IBM于2019年10月推出的全闪存NVMe阵列,针对人工智能和分析工作负载进行了优化,并提供更低的成本和高密度。SL型号适合标准机架,其存储容量可扩展至8.8PB,而SC型号适合扩展机架,最大存储容量为13.5PB。它可以与ESS3000和其他由IBMSpectrumScale高性能集群文件系统提供支持的弹性存储系统(ESS)集成。“我们用SpectrumScale高性能集群文件系统所做的是增强移动对象存储的能力,但其次是让对象对SpectrumScale全局命名空间可见,而不仅仅是文件。为什么要这样做那?”赫尔佐格说。它消除了孤岛。因此,如果一些数据在文件中,一些数据在对象中,那么您至少已经拥有两个数据岛。使用SpectrumScale数据加速器,您实际上可以将对象存储到与文件空间相同的全局命名中。当组织的软件正在搜索要实际分析的数据和要收集的数据时,它们都存储在同一个数据日志中。”IBM还对其云对象存储(COS)进行了现代化改造,在12中将性能提高到55GB/秒节点配置,读取速度提高300%,写入速度提高150%,具体取决于对象大小。云对象存储(COS)还支持SMR驱动器,即在4U磁盘柜中提供1.9PB存储容量的大容量磁盘驱动器。所有这些都将增强与高性能AI和高性能计算(HPC)工作流程的集成。Herzog指出IBM的SpectrumScaleforDataAcceleration,这使它能够从对象存储中移动数据,这是消除数据源之间孤岛的又一步。