当前位置: 首页 > 科技观察

阿里总部解密双11超级工程背后的数据库技术

时间:2023-03-19 13:35:57 科技观察

2018年1月19日,阿里巴巴数据库事业部和技术战略部在双十一的发源地阿里西溪园区总部举办了直播活动技术。接下来《双11数据库技术峰会》,100多位企业CTO、CIO、数据架构师出席活动,现场座无虚席。阿里巴巴集团数据库技术部总经理、阿里巴巴研究员张睿做了开场分享。张睿2005年加入阿里,前两天刚过13周年。他亲身经历了阿里整个数据库技术的变化和发展。数据库理论是在1970年代提出的,甲骨文公司抓住机会推出了基于磁盘的数据库设计。后来随着Flash技术的成熟和PC端CPU能力的增强,阿里在这两个幕后的帮助下完成了数据库架构向IOE的升级。随着互联网技术的飞速发展,分布式大数据也开始冲击传统的关系型数据库。一直以来,双11都是阿里科技的助推器。阿里通过分布式数据库中间件的扩展,能够更好的支持双十一活动。在这样的背景下,阿里巴巴在2016年开始思考下一代数据库,它是什么,一个是成熟的分布式架构,一个是今天与云紧密结合的存储计算分离技术。在双11的极限压力下,需要对成本进行优化,希望用原来1/10的成本提升10倍的性能。今天,新的硬件也在飞速发展,包括内存、FPGA、更高效的网络等。站在现在,放眼未来,数据库现在已经走在了技术的前沿,各种技术百花齐放。***,张睿表示,希望和大家一起探讨下一个十年数据库的变化和突破。阿里资深达人贾毅在双11分享了黑科技的心得《数据库优化之路》。他提到,双11数据库面临三大挑战:数据一致性、性能和成本。今年,阿里的新一代数据库X-DB就是用来迎接这些挑战的。X-DB底层采用自研高性能Paxos基础组件X-Paxos解决数据强一致性问题。在性能和成本方面,底层采用Batching和Pipelining技术,大大提高了数据库的事务处理能力。同时,嘉一还分享了,利用ESDB、X-KV等技术解决各种复杂的性能问题,容器化和存储计算的分离让数据库实现了最大的灵活性。***嘉一分享,阿里巴巴正在使用CloudDBA产品,大大降低了DBA服务的人力成本。宣志是云上数据库性能优化的资深专家,也是RDS双11技术支持负责人,他的分享是。在云上使用RDS支撑双11这样的大型活动时,玄奘分享了如何从参数优化、链路接入、性能优化、弹性扩展、架构设计应对高并发访问五个方面来优化数据库。物联网是当前最热门的技术趋势之一。大量物联网设备产生的时间序列数据应该如何存储?阿里时序数据库资深专家优优在接下来的分享中,以一个典型的工业物联网案例——风电场为例,介绍了如何使用云端的高性能时序数据库HiTSDB来存储大量的时间序列数据。同时介绍了HiTSDB在时序数据处理方面的主要优势,包括在聚合查询、实时响应、海量数据存储等方面的优秀技术成果。下午的环节由阿里资深专家豆佛《企业数据安全管理***实践》带来。长期以来,由于随机访问数据,企业数据泄露的风险非常大,甚至多次出现公司CEO或CIO因此被迫辞职的情况。硬件损坏、软件漏洞、内部数据泄露等都是对企业数据安全的挑战。窦佛介绍了阿里巴巴的数据安全解决方案是如何解决这些问题的。同时,他透露,相应的即将在阿里云上商用的“数据管理DMS企业版”,将为所有云用户赋能阿里内部体验。从2008年开始,阿里巴巴内部开始探索分库分表技术。过去10年,内部积累的分库分表的数据库中间件产品叫TDDL,在云端对应的产品是DRDS。此次,阿里巴巴分布式数据库技术专家猛狮为大家带来了新一代DRDS引擎,带来了数倍的性能提升、更复杂的SQL能力、更具可读性的优化器执行计划。他还透露了一个重磅消息,新一代引擎即将发布,今年将完全开源。阿里OLAP数据库资深专家知书在《分析型数据库AnalyticDB2.0双11实践》介绍了如何使用实时分析型数据库ADS解决一些在线OLAP业务问题。典型场景包括营销管理、推荐、预测、安全风控等,知书以阿里双11内部的多个场景为例,展示了ADS在这些业务中的表现。随着DT时代的到来,企业拥有的数据越来越多,规模可能达到数百TB甚至PB级。如何以合理的成本管理和维护这样的数据库,成为各企业IT管理的核心问题。阿里云数据库资深专家南先分享了《云数据库HybridDB HTAP技术实践》如何使用阿里云数据库团队自研的全新HTAP数据库,同时支持OLTP和OLAP场景。同时支持实时分析,省去了耗时的ETL过程。随着企业业务的发展,内部数据流转将成为一大挑战。《数据实时同步解决方案》由阿里巴巴数据库架构师西碧带来,介绍了如何解决双十一数据激增时阿里巴巴内部的数据流。等待。如果你是阿里云用户,可以使用数据传输服务DTS来解决类似场景的问题。在最近的圆桌环节中,多位阿里数据库技术大咖畅谈了对双11技术、远程多活、分布式数据库、分库分表技术等的展望,同时也回答了多位与会者的相关问题.问题。来自全国多个城市的嘉宾纷纷表示不虚此行,这是他们近年来听到的最纯粹的技术大会。