中国移动大数据中心：把握“东数西算”新机遇，创新驱动大数据基础设施创新。算力作为当今时代的核心生产力，对于数字经济时代的发展就像水利之于农业、电力之于工业一样重要。它已成为经济社会数字化发展的重要驱动力，也正在成为全球战略竞争的新源泉。重点。在全社会对算力需求激增、算力资源区域分布不均的背景下，国家启动了“从东向西数”的超级工程。“东算西算”对于整合优化我国算力资源，促进东西部算力需求与土地、能源等资源的互补匹配具有重要战略意义。从东向西数超级工程的实施，对国家和企业都具有深远的意义。从宏观上看，统筹全国“一盘棋”算力，对我国数字经济发展具有重要的战略导向作用。不仅有利于推动数据中心合理分布、绿色集约、互联互通的发展，还肩负着战略性保障国家数据安全和调整国家产业布局的使命。基于算力统筹，实施“东算西算”工程，有利于促进国家整体经济协调发展。不仅有利于提高国家整体计算能力水平，促进国家整体经济发展，也有利于促进区域协调发展。通过建设算力枢纽和数据中心集群，有效带动产业上下游投资，形成东西部协同发展新格局。从企业看，实施“东算西算”工程，是推动企业绿色集约化、降本增效、自主创新发展的新契机。一方面，数据中心耗能大，占地大，而西部有丰富的绿色能源和土地资源。数据中心整体布局西部，可以为企业大大节约用电和土地成本。另一方面，当前，我国信息产业在关键核心能力自主创新方面还存在重大不足，表现在基础软件上过度依赖国外技术，在新技术突破上引领不足。“东算西算”项目的实施，将为企业推进关键核心技术攻关、打造科技领先优势，进而实现产业创新发展带来历史性机遇。推进“东数据、西计算”工程实施，大数据领域需要做好顶层设计，实现基础设施创新。在对计算能力的各种需求中，大数据是对计算能力要求更高的领域。随着数字经济的深入发展，数据规模不断扩大。大数据中心负责海量数据的汇聚、处理和开放，呈现出计算资源消耗大、服务时效多样化、数据安全要求高等特点。为推进“东数据、西计算”工程的实施，大数据领域需要解决三大问题。一是如何在“东算西算”新格局下继续保障数据服务的时效性。随着大数据产业的蓬勃发展，大型数据中心每天的数据访问量和处理量已经达到PB级，对数据服务的时效性要求越来越高。在高时效性要求下，难以满足数据的远距离传输和再处理要求。因此，在大数据领域，一方面要强调数据的预编排。承载实时业务的算力部署在东部，实现东西部算力协同。另一方面，要加强数据源头处理和分级管理。对于可以就近处理的原始数据，可以在就近的区域数据中心进行处理，减轻网络传输压力。总的来说，数据来源的分布、数据价值的密度、数据服务的时效性、计算能力的布局要统筹考虑，做好数据架构的统筹规划。二是如何在“东数西数”新格局下继续保障数据生产效率。随着“东方数据，西方计算”的推进，数据采集和处理呈现出多区域分布的特点。传统的大数据技术架构难以支持跨中心数据的统一处理。需要创新构建新型大数据基础设施：一是计算资源协同，具备对分布在不同区域中心的计算任务进行统一调度和控制的能力；二是统一治理，能够对物理上分散、逻辑上分层的数据进行统一的元数据管理；在复杂架构下保持一致的用户服务体验的能力。总体而言，应综合运用分布式协同计算、湖仓集成、存储计算分离、大数据PaaS等技术，对整体大数据计算架构进行升级。三是如何在“东算西算”新格局下继续保障数据安全。算力网络具有算力泛化、物物融合、算网共生、灵活连接等特点，将产生更多的资产曝光和更高的连接频率。更广泛地说，数据安全风险也在增加。企业需要进一步加强数据安全管理，通过数据分级治理，系统提升数据安全保护水平，不断完善安全治理架构。中国移动立足自主创新，构建大数据分布式协同计算新架构，推动“东数西数”逐步落地。为应对大数据领域面临的挑战，更好地实现大数据场景下计算和存储的高效向西转移，除充分发挥传统运营商优势外，构建大带宽、低时延、智能、安全、高效的传输网络，中国移动大数据中心还结合业务发展，采用源计算、协同计算、存计算分离、湖仓一体等新技术、新思路，积极推进大数据基础设施全面升级。随着数据规模的逐年增长，中国移动原有的物理集中式大数据平台无法承受持续增长的压力。为满足全网不断增长的业务需求，中国移动大数据中心创新规划建设大数据分布式协同计算平台，将原有的物理集中计算架构升级为分布式多中心协同计算处理架构，实现海量数据分布式后源处理，解决业务集中承载难、优秀能力推广难等问题。计划2023年底在贵阳、重庆、呼和浩特等西部节点等9个区域中心建成大数据分布式协同计算平台，接入中国移动全网数据，高效支撑大数据创新发展服务。中国移动大数据分布式协同计算平台建设是中国移动在结合自身业务发展的前提下，为全面实施“东数据、西计算”做好技术储备和初步验证的重要项目。中国移动大数据中心坚持自主创新，突破了跨中心两级协同调度、智能调度、跨数据中心高速传输、协同计算等多项技术难题。完成了中国移动大数据分布式协同计算平台1.0版本的研发。触发和多中心协同计算的能力。在数据分布管理层面，构建分级数据管理体系，按照层级和流行度对数据进行统筹分布和管理。明细数据实时连接就近区域中心，实现后源处理，离线汇总数据在西部统一聚合计算，满足多场景数据时效性要求。在技??术架构层面，一是构建统一的元数据和统一的开发调度能力，实现任务的单点调度和多中心协同调度；二是构建协同计算引擎，实现基于执行计划拆分和算子下推的跨域计算。分析;三是构建统一的资源管控层，实现多中心分布式资源的统一管控和统一开放能力。四是应用大数据存储与计算分离，湖仓一体的架构，实现多模态数据的单点访问，随处可见，随处可数。安全管理方面，全面落实三法一规要求，构建全方位、全流程的数据安全管控体系，进一步加强跨中心数据流一致性审计能力，完善敏感操作拦截、敏感日志审计、敏感数据加密，确保数据在整个生命周期内的安全。目前分布式协同计算架构已在宁波、苏州、汕头、株洲、郑州五个区域节点完成平台部署，支持位置洞察、内容洞察等应用创新，实现中国移动近三分之一大数据的分布。数据计算能力。2022年，中国移动大数据中心将在贵阳、重庆、呼和浩特、哈尔滨等区域节点进一步开展平台建设工作，持续开展技术创新，加强数据智能分布管理，动态感知各节点资源使用情况数据中心、数据“冰冷”等。根据“热点”规律和业务容灾需求，实现数据副本的跨域智能分发和基于资源状态和业务特征的作业智能调度，高效释放数据要素价值，有力支撑全国布局“东算西算”。未来，中国移动大数据中心将抓住“东算西进”的历史机遇，践行自主创新，不断做大做强做优大数据分布式协同计算平台，打造核心竞争力。大数据计算平台领域。同时，中国移动将借助超级工程的广泛影响力，进一步发挥行业引领作用，联合产业伙伴，系统推进大数据产业基础设施创新，全面服务国家。“东方数据，西方计算”战略项目。
