当前位置: 首页 > 科技观察

云时代下,数据库的关键趋势与DBA发展之路

时间:2023-03-14 18:35:49 科技观察

云时代,数据库的关键趋势与DBA演进的发展路径。云时代,企业应该如何选择和搭建数据库架构?如何应对业务上云带来的数据迁移挑战?数据库的“新解决方案”是什么?DBA未来的发展趋势是什么?今天为我们解答以上问题的嘉宾是货拉拉DBA负责人蔡鹏先生。希望通过蔡鹏的研究成果和实践经验的汇集,带领大家厘清新的数据库时代和DBA的个人发展路径。蔡鹏,货拉拉DBA负责人,曾任饿了么,蚂蚁金服技术专家,现任货拉拉数据库部负责人。负责货拉拉全球业务场景下整体数据库、消息队列、缓存、数据库中间件的稳定性建设,主持饿了么数据库多活建设,进行数据库中间件、分布式数据库、自动化运维和维护平台的设计和开发具有丰富的实践经验。主要观点数据库进步,颠覆传统DBA,塑造行业云数据库已经进入百家争鸣的时代,云提供商之间的激烈竞争,加上现实的业务需求,迫切需要推动数据库技术的进步。近年来,业界涌现出一大批新型数据库。一方面,这些新数据库对传统关系型数据库(分布式、云原生等)做了很多改进和优化;100核CPU、超大容量高性能存储),数据库性能进一步飞跃甚至“超性能”。数据库形态的变化正在深刻影响着整个IT行业。相信DBA们在新技术下也会有新的机会。如何理解Q1:云时代,研发应该具备DBA的能力?个人理解:用DBA能力赋能研发本身就是“开云时代的逆转”。因为云本身具有更强的容错性和兼容性,无论是在屏蔽底层基础设施的稳定性方面,还是在自身产品核心的完善建设方面,云不仅要提供稳定的基础设施,还要屏蔽它消除了很多研发过程中的一些复杂性和容错性,让研发更专注于业务本身的建设。不管是云时代还是自建时代,研发都需要对数据库本身有一定的了解,比如合理的设计范式、结构设计、索引设计、SQL编写等,但我们也看到云数据库变得越来越智能。甚至可以实现SQL智能重写和索引自动优化的高度自动化,进一步弱化了研发对数据库本身的关注。但凡事都有例外。例如,数据库的种类越来越多。在不同的场景下使用不同和相似的数据库可能更有利。过去,这种选择由DBA主导。基于CloudDB对研发复杂性的屏蔽,研发可以根据对云数据库产品的理解做出合理的选择,但这也存在潜在的风险。比如货拉拉,早期也有类似的做法:研发自己做了很多数据库选型,最后的结果是服务治理失控,同时也带来了严重的业务风险(比如,一块数据写入了MySQL和MongoDB,最后用ElasticSearch,还得刷一份到Redis缓存,有吐血修复数据的历史)。所以这部分工作还是需要DBA来指导,因为DBA在这方面会有更好的大局观。Q2云时代DBA职责有哪些变化?应该提前做什么?功能转型:①在云能力的加持下,数据库的可靠性和稳定性不再是核心工作。例如,一些SLA工作由云端来保证;②如何科学合理地使用云能力,为业务赋能架构设计方案规划和成本节约更为重要。重要的。提前准备:①在云理解方面:积极学习云产品,了解各种云的套路;②个人能力建设方面:要加强复合型、多元化的能力建设,懂数据库、懂平台、懂研发,实现从DBA到架构师的转变。Q3云时代,企业IT设施集中化、规模化,对效率和性能的要求越来越高。我们对云数据库有哪些新的技术需求?数据库的发展基本上已经满足了用户无休止的“过度”需求,不仅要(高性能),还要(稳定性),还要(可扩展性、可操作性等):在能力多样化需求方面:AP+TP(HTAP),行列融合,SQL与NoSQL共存,持久化与Cache共存,存储计算分离,无限扩展;架构:需要云原生远程多活/容灾(两地三中心,三地五中心)能力;治理:更智能的自治;成本:越便宜越好(用户总是像老板一样不讲道理)。Q4未来数据库存储的分层设计,是否可以在混合云环境下自由迁移或自动迁移?实现的难点在哪里?个人理解是非常困难的,实现起来的难点主要在于云提供商之间的壁垒,或者是自身产品的封闭性以及产品之间的兼容性:云提供商壁垒:由于商业原因,云提供商之间存在天然的差距products,cloudprovider在短期内,产品之间不需要连接;产品封闭:不同云产品的底层技术原理不一致,不公开。存在关键的理论障碍;产品兼容性:不同的云产品,即使在基础协议层,也不兼容跨云迁移的前提条件。当然,对于基础协议层的兼容,比如常用的MySQL及其变种系列(兼容Binlog格式),跨云迁移技术的实现还是比较简单的,无论是借助云端自身的能力(例如DTS)或自己开发一个。迁移工具都是可行的,但这种情况毕竟很少见。但随着未来数据库逐渐向开源方向发展(封闭是没有未来),这将促使更多的技术人员对云产品有更深入的了解,这将为数据跨云迁移提供更多的技术支持。当然,这对技术本身有很高的要求。不过,我也注意到,近年来涌现了很多第三方技术服务公司,专门提供各种云端解决方案。或许基于云会诞生一些新的商机,也是技术人变现技术的一种方式。这似乎是真的。变相地,“DBA消亡论”弄巧成拙。