当前位置: 首页 > 后端技术 > Java

第一的!统一调度系统大规模落地,全面支撑阿里巴巴双11全业务

时间:2023-04-01 16:31:49 Java

介绍:统一调度在今年双11首次大规模亮相,通过一套调度协议和一个系统架构,统一管理底层计算、存储、网络资源,超大规模、高效、自动化的资源弹性实现了行业新突破。线下混部,线下线上混部,全新的快上快下技术,减少数万台服务器采购,带来数亿资源成本优化和推广效率提升。01背景统一调度项目1.0已成功支撑2021年双11大促。统一调度解决方案实现了从集装箱调度到快速装卸全流程的全面升级优化。项目组100余名核心成员顺利经历立项、POC、方案评审设计、开发封闭测试、大促冲刺等各个阶段,经测试成功上线。作为阿里巴巴的核心项目,阿里云(容器团队和大数据团队)与阿里资源效率团队和蚂蚁容器编排团队强强联手。历时一年多的研发和技术攻关,实现了从“混合技术”到如今“统一调度技术”的全面升级。如今,统一调度已经全面统一了阿里巴巴电商、搜索推广、MaxCompute大数据、蚂蚁业务的调度。各种复杂业务形态的混合和利用率的提升,充分支撑全球数十个数据中心、百万容器、千万核的大规模资源调度。CloudNativeProductFamily02统一调度技术全面升级云计算的本质,将小的计算碎片变成更大的资源池,充分削峰填谷,提供极致的能效比。在低碳节能、绿色环保、科技发展、数据中心更高效运营的追求下,阿里巴巴对技术的探索永无止境。阿里的技术人员有一个理想,就是把数据中心的算力做成像水、电、气一样的基础设施,开箱即用。为了最大化业务高峰和低谷的优势互补,我们在过去构建了混合技术,打破了多个资源池的划分,不同计算领域的多个调度大脑协同共享资源;老一代的混合动力技术带来了资源。统一性和利用率有很大的提升,但是多调度器的本质限制了我们的追求。阿里巴巴持续追求构建新一代领先的调度技术,可以无差别地支持更复杂的任务,与极致的灵活性相辅相成,实现极致的全局最优调度,提供更高质量的算力。今年我们在技术上达到了一个新的临界点。容器服务ACK牵头,联合多个团队推出了新一代基于ACK的统一调度项目。今年双十一首次大规模亮相的容器产品族统一调度,用一套调度协议,一套系统架构,统一管理底层的计算、存储、网络资源。方式。新的突破。线下混部,线下线上混部,全新的快上快下技术,减少数万台服务器采购,带来数亿资源成本优化和推广效率提升。今年首次引入大规模数据智能,进一步丰富调度能力,提供实时负载感知、自动规格推荐(VPA)、差异化SLO工作负载编排、CPU归一化、支持周期预测的HPA、时间-共享复用。提供更多维度的成本优化技术和高可靠的容器运行时保障。围绕新一代统一调度,阿里巴巴电商、搜索、大数据等众多平台,不同类型的复杂计算资源都统一申请资源。协调的配额管理和资源规划可以在几秒钟内借用数十万个核心资源。水平来完成。基于统一调度,阿里云与蚂蚁也实现了调度技术的融合,蚂蚁生态全面升级为统一调度。调度平台为未来带来了更多的想象空间。比如我们可以通过各种手段,比如价格杠杆等经济因素,来驱动阿里巴巴内部业务更加合理地使用各个数据中心的资源,保证数据中心的全球资源水平尽可能的均衡。提高数据中心的能效比。阿里云容器服务ACK进一步增强了标准Kubernetes,以更高的性能吞吐量和更低的响应延迟构建稳定可靠的超大规模单集群能力。资源池的生产经营提供了坚实的基础。阿里巴巴的多类复杂资源也基于容器服务基础ACK进行了全面的整合升级。除了阿里巴巴的电商、搜索、大数据等经典场景,统一调度也极大地赋能新技术创新。以直播电商场景为例,决策对实时计算有很高的需求,比如对超过9000万在线观众产生的浏览、交易等实时数据进行秒级数据分析薇娅双11直播间内。今年,阿里将实时计算引擎Blink升级为基于统一调度的新一代引擎,在成本、性能、稳定性和用户体验方面都有了很大的提升。大规模作业性能比Yar??n快40%,错误恢复效率提升100%。%,通过统一调度技术,节省数十万CPU,为双11大促做准备。当集群CPU水平超过65%时,实现全局零热点,保证每次直播推流的时效性。Serverless方面,函数服务首次在集团内大规模落地,并应用于双11,支持淘宝搜索推荐、数据处理、前台等10余个业务场景。结束SSR。借助统一调度技术,函数计算可以实现与阿里资源池的大规模混合运行,充分利用集群的碎片化资源,彻底解决Serverless场景在流量低峰期的资源闲置成本问题.基于ACK图像按需加载和网络栈优化,函数实例冷启动时间小于150ms,结合池化技术保证函数计算容器冷启动率小于5%确保双11促销成功的关键。03展望未来,容器服务ACK将阿里统一调度的经验输出到全行业,支持更多新的计算负载生态,以及新技术形态的架构演进,实现云计算无处不在,全面赋能更多企业.释放更大的低碳价值红利。原文链接本文为阿里云原创内容,未经许可不得转载。