【.com原创文章】华为企业商务中国4天前，虽然受“疫情”的影响，技术人群放弃了聚会，减少了面对面的交流，但他们对学习和交流的渴望从未停止过。为此，华为特地推出#Σco时间#系列栏目，以线上直播+互动的形式，共同探讨技术变革与行业变革。 3月4日下午3点，本期#Σco时间#的话题是“大数据存储‘分’还是‘合’，你做对了吗？”——华为智能数据与存储分布式崔资深存储营销专家余翔来到华为“智能数据基础设施“学堂学堂””直播间，分享了华为如何看待存储计算分离的价值，以及华为大数据存储计算分离解决方案和应用实践.数以千计的在线嘉宾共同探讨了存储计算分离技术的发展趋势和市场前景。 数字经济时代，大数据架构正朝着存储与计算分离的方向发展 崔宇翔介绍，在数字经济时代数字经济时代，数据成为新的生产数据，从数据管理到数据运营，大数据发挥着越来越重要的作用，数据驱动体验、数据驱动决策、数据驱动流程的各种应用不断涌现。每天都在上演。随着5G和AI技术的发展，数据量势必迎来爆发式增长。在这样的情况下，传统的大数据存储计算一体化架构在很多行业都面临着资源利用不均、存储成本高、资源共享困难等挑战。 以国内电信运营商为例，每年的市场采购额高达数亿元，但如此庞大的投资不仅支撑了电信业务，也带来了计算资源的浪费。面对供电成本居高不下等诸多挑战，“降本增效”成为电信运营商的重要诉求。同样，提高资源利用率、灵活部署、按需调度计算资源的诉求也成为金融和政府领域用户的迫切需求。要解决的问题。如何解决这么多挑战？崔宇翔认为，计算与存储分离是大数据架构演进的必然趋势，也是解决行业用户数据痛点的利器。他解释说，在Hadoop1.0时代，计算和存储高度集成，只能处理单一的MapReduce分析业务；在Hadoop2.0时代，计算层和数据开始解耦，通过Yarn实现独立的资源管理。并开始支持Spark等更多的计算引擎；而现在Hadoop3.0时代，计算和存储正在走向分离，用HadoopEC支撑冷数据的存储，逐渐向数据湖架构演进。“存储和计算分离其实更适合企业市场，实现资源云化和弹性扩展，让用户享受到更专业的存储，更好的可靠性和利用率。” 三大优势成就华为OceanStor分布式2019年，华为创新推出大数据存储计算分离解决方案。崔宇翔为听众详细讲解了华为OceanStor分布式存储，一个可以创造更高性价比的大数据存储解决方案。简直就是为多风格存储、大数据量的用户量身定做。“简而言之，华为OceanStor分布式存储最显着的三个特点是成本更低、效率更高、使用更简单。”，资源自主按需扩展，弹性EC+分级，存储成本大幅降低。“性能和可靠性媲美HDFS的三副本，但存储利用率是三副本的1.75倍。”崔玉祥还指出，OceanStor分布式存储通过自动生命周期管理，可以实现更好的性价比，计算身边没有任何感知。用户可以定义不同的数据写入策略，让不同类型的应用可以读写不同的存储池，实现资源的最佳利用；用户还可以定义数据迁移策略，实现热、温、冷数据的自动转换，降低OverallTCO。 他以上述电信运营商为例。在载体日志留存场景下，当计算利用率为30%，总容量需求大于256TB时，切换到存储计算分离方案将具有TCO优势；在总容量需求大于2PB时，存储计算分离方案的TCO节省将达到40%以上。 【更高效率】在数据应用效率方面，华为OceanStor分布式存储采用全对称分布式NameNode。集群性能和支持的文件数量随着节点数量的增加而增加。单个命名空间支持数百亿个文件。不仅如此，华为还实现了多集群数据融合互通，提升数据共享和分析效率。协议互通，分析效率提升30%，空间占用减少50%。“在某金融客户的应用测试中，基于相同的计算和存储硬件配置，OceanStor存储-存储-计算分离方案的性能在大部分测试中都超过了原生HDFS三重副本，部分测试项的执行时间甚至降低了70%。%甚至更多。” 【更易用】在实际运维方面，华为原生的HDFS接口提供了更好的性能和用户体验，例如完整的HDFS语义100%兼容主流大数据组件，用户无需安装插件，维护简单，更重要的是可以通过ViewFS或Hbase元数据网关实现新旧共存，保护用户现有投资，系统级数据冗余保护可以支持4个节点同时失效，崔玉祥强调，即使一个节点失效，华为OceanStor分布式存储也可以自动调整EC等级，保证e新写入数据的可靠性不会降低。同时，多节点并行重构可实现2TB/小时的数据恢复效率。 存储计算分离，助力千行百业推进大数据 2019年以来，华为OceanStor分布式存储解决方案广泛应用于电信、金融、政务、大型企业等各个领域。在本次直播活动中，崔玉祥特别分享了两个具有代表性的应用案例。 在江苏，原有的政务系统大多部署在烟囱里，数据孤岛比比皆是。但随着数据量的快速增长，江苏决定基于华为存储计算分离解决方案，着手构建分层、解耦、高效共享的大数据平台。华为助力江苏政务系统打造统一的大数据平台，可同时支持多项业务，实现部门间数据快速共享，实现政务服务“最多跑一次”。在部署中，存储和计算的分离发挥了作用。加上计算资源和存储资源的云化，实现资源的灵活配置，业务上线时间缩短90%。同时，借助OceanStor分布式存储的弹性EC技术，存储利用率从33%提升至91.6%，轻松应对数据快速增长的挑战。 在河北电信，已经部署安装了89个集存储和计算于一体的大数据集群。整体存储空间利用率已超过80%。存储空间不足，经常需要通过删除数据来释放存储空间。而且现有机房空间紧张，只能容纳135台2U服务器。按照原有的存储计算一体化方式进行扩容，机房空间无法满足要求。对此，华为创新采用存储计算一体化+存储计算分离共存的方案，扩容100个计算节点+35个存储节点，并采用Hadoop数据联邦方案（ViewFS），不仅解决了存储与计算共存新老问题，同时也实现了性能和容量的均衡扩展，相比原方案，可用容量提升60%。崔玉祥指出，存储计算分离方案无缝扩展，数据读写均衡。用户无需升级现网大数据版本，也无需迁移现网数据。 相信通过本次直播活动以及华为大咖带来的精彩分享，行业用户对于存算分离，以及如何选择适合自己的存算分离方案，会有更深刻的认识。深谙此道【原创稿件，合作网站转载请注明原作者及出处为.com】
