实测|华为OceanStorPacific分布式存储为多计算应用带来更好的选择,有容乃大,一墙之隔千尺,无欲无求。包容的胸怀是我们成就许多事情的基础,也是产业战略和科技事业发展的关键。近年来,在技术自力更生的大背景下,数据基础设施国产化如火如荼。例如,以计算和存储为主的HPC/AI数据基础设施关系国计民生,在以科技创新、基础科学研究为代表的重点领域发挥着重要作用。但目前很多科技研究场景的HPC/AI数据基础设施依托于X86CPU+GPU+Lustre存储+IB交换机的统一生态,已经成为业界公认的HPC/AI设施最佳性能组合之一。行业。如何在科研领域兼顾效率和自主性,为HPC/AI等多样化算力应用的关键场景提供最合适的数据库成为关键问题。在此,更凸显了“海纳百川,海纳百川”之意。不久前,在深圳国家重点实验室,华为OceanStorPacific分布式存储与基于X86CPU+GPU+Lustre存储+IB交换网络构建的大型科学设备AI集群进行了全面的POC测试。结果表明,华为OceanStorPacific分布式存储完美兼容这座大型科学设施的AI集群生态环境。更重要的是,通过实测,其性能和功能在多项指标上均优于现有系统。华为与国家重点实验室联合运营的POC测试意义深远,远远超出了一个产品或解决方案的发布:它代表了一种实事求是、包容的发展战略;是国产先进存储走向世界的一块敲门砖,是中国科技与全球化的破冰船;对于科学研究,乃至更多领域的数字化、智能化,都是非常幸运的。数据的浪潮,时代的需要:科研场景的存储挑战以X86+GPU为主导的统一生态技术体系,经历了数十年的发展建设,其根在国际上已经非常深远,在中国。X86+GPU捆绑了大量国际国内数字工具、软件应用、数字成果。这在某种程度上是无奈,但也是客观存在无法回避的现实。尤其是在科学研究领域,HPC/AI正在全球各个学科的研究中发挥着重要作用。X86+GPU算力平台可以让教授、学者和科研从业者更方便地接触到全球最新的学术动态,验证科研成果。在如此强大的惯性影响下,短时间内强行脱离X86生态是不现实的。因此,很多早期乃至当前构建的HPC/AI基础设施都是构建在X86+GPU系统之上。随着HPDA的整体发展,需要在业务负载上考虑HPC/AI、大数据和AI的混合叠加,支持应用驱动的科学计算工作流,从而推动以数据为中心的工作负载,从工作负载向以数据为中心的工作负载转变。计算科学发现向数据科学发现转变。科技研究的突破速度取决于数据基础设施的性能,尤其是对数据存储性能的终极挑战。第一个挑战是应用的数据级别正在从PB级加速到EB级;第二个挑战是应用的负载正在从单一向多元化转变,也就是常说的混合负载;最后一个挑战是应用类型的改变。从简单到复杂。核心是数据与业务的耦合度越来越大,数据计算需要参与整个业务流程的多个环节,环环相扣,缺一不可。在当前提倡自立自强的科技攻关时代背景下,面对这些数据中心存储的挑战和诉求,以及X86+GPU系统暂时无法完全替代的事实同时,国内业界希望看到先进的国产存储兼容X86+GPU环境,也能为HPC/AI应用提供媲美Lustre存储的性能和功能。更好的性能,更好的选择:华为分布式存储的价值显现不久前,华为OceanStorPacific分布式存储和深圳某国家重点实验室依托X86CPU+GPU+Lustre存储+IB交换网络搭建的大型科学设备AI集群进行了POC测试。从测试结果来看,整体兼容效果不错,没有出现兼容问题。使用华为OceanStorPacific分布式存储后,该存储在功能和性能上均优于现有系统,融入计算集群的效果也更好。此次测试对接的成功,展现了华为在技术创新和产品兼容方面积极进取的态度,也展现了华为为科研创新,乃至更广阔的计算和存储领域贡献力量的决心。研究教育和国家实验室代表了一个国家的计算基础设施。与这个大型科学设施的AI集群的成功对接,可以看作是华为OceanStorPacific分布式存储为国产存储打开了大门,为HPC/AI提供了更好的选择。在HPC/AI应用场景中,Lustre不再独领风骚。一般来说,多元算力包括x86、ARM、AI、GPU计算等计算生态,存储需要根据不同的计算场景和计算设施为用户提供最佳体验。华为分布式存储的价值和优势可以释放到HPC/AI场景,有效满足科研等场景的存储需求。具体来说,华为OceanStorPacific分布式存储从多个角度打破了HPC/AI场景的存储困境。一、解决海量数据的存储成本问题:我们知道,随着HPC/AI业务量的不断增长,机房空间不足、存储成本高等问题往往最先遇到。为此,华为推出了华为OceanStorPacific分布式存储高密专用硬件,基于全新的高密架构设计,提供更高的容量利用率,可以在有限的机房空间存储更多的数据,更好的满足海量数据需求。成长需要。叠加华为OceanStorPacific分布式存储智能分层存储技术,域内冷热数据统一管理,数据可在冷热层系统间自动迁移,无需管理员人工干预,数据灵活高效管理全生命周期,同时有效解决海量数据的运维管理问题。第二,为混合负载提供高性能:HPC/AI应用计算涉及的数据越来越多,类型越来越多,任务并发度越来越高,因此需要性能更加均衡的存储。华为OceanStorPacific分布式存储采用OceanFS下一代并行文件系统,结合独有的大小I/O自适应数据流技术,一套存储可以同时满足极限带宽、极限IOPS、极限时延的混合负载需求。通过与分布式并行客户端(DPC)的紧密配合,打破单流单客户端的性能瓶颈,帮助企业有效应对混合工作负载的挑战。最后,数据在多个不同业务环节的高效安全流动:由于数据量的增加和数据应用的复杂性,数据在不同环节和系统之间的高效流动是HPC/AI服务面临的一大挑战。华为OceanStorPacific分布式存储拥有业界领先的多协议互通能力。多种存储服务同时访问一份数据,支持NFS、CIFS、HDFS、S3等协议按需部署。通过其中一种协议写入的数据无需迁移即可被其他协议读取,提高了跨链和跨链系统的数据分析效率。此次全面推出多算力,释放多算力价值,彰显了华为的包容与体贴,也展现了华为OceanStorPacific分布式存储乃至华为存储向科研+HPC/AI场景的发展方向。面向未来,宽容大:数据基础设施再起航成功完成兼容性测试后,华为获得了更广泛的市场和受众认可。而华为OceanStorPacific分布式存储与深圳知名国家重点实验室X86AI集群进行的POC测试,在科研和ICT领域具有更广泛的价值,展现出一种包容之大的智慧。该测试的成功在许多方面都具有重要意义。对于科研机构来说,X86环境下的HPC/AI可以快速获得更好的存储支持。即使短期内不取代本地化计算,也可以实现数据可控、可信的数字化战略,从而获得更健壮、开放的系统。研究环境。对于HPC/AI相关项目和数据中心,华为OceanStorPacific分布式存储与多种算力的兼容,意味着更多的选择和更广阔的解决方案构建空间,确保计算基础设施真正实现多样化。对于计算本土化的趋势,我们不搞封闭和孤立,而是在开放包容的情况下,走向技术上的自立自强。华为分布式存储支持多样化算力,意味着真正开放、兼容、自主、创新的高可靠存储数据库正在建立。具备传统超算、大数据分析、AI分析能力,应用驱动统一数据源支撑全流程。科学计算服务在为科研和商业提供多样化计算能力的同时,可以基于数据知识的积累提供高层次的数据价值服务。华为OceanStorPacific分布式存储兼容性的提升,不仅是一个新的开始,更是一个明确的方向:它向世界展示了中国ICT产业包容、包容一切的决心。
