在2018云栖大会上海峰会上,阿里巴巴数据库资深技术专家王林平为全场带来了名为《互联网架构转型中的数据库实践》的精彩分享。在本次分享中,他重点介绍了互联网开发经验、数据传输DTS、阿里数据管理、混合云数据库管理、数据库备份、基于HDM、DBS、DTS的容灾解决方案等痛点。互联网数据库的发展在互联网数据库的发展过程中,我们在做IT建设的时候会遇到一些痛点。在这个过程中,如何解决这些痛点非常重要。***,很多企业都会面临数据和业务从简单到复杂,数据量从小到大的过程。在这个过程中,数据可能会出现单个数据库无法存储的情况。那么我们如何提高可扩展性呢?第二,随着我们业务的增长,我们的数据也在增长,但是人们是否跟上了业务发展的步伐?核心数据,比如客户用户信息,包括一些基本的配置信息。这些信息在企业中经常被多个部门使用,那么如何共享核心数据呢?同时,当企业使用不同的数据库时,这些数据库之间如何交换数据也是我们面临的一个痛点。.第四,我们的研发人员和控制人员将随着业务规模的增长而不断增加。在人员众多的情况下,如何在不影响开发测试效率的情况下保证数据的安全性和规范性?***、数据是企业的核心资产。如何提高数据库的容灾能力,保证我们的数据不会因为天灾人祸而丢失?下面结合阿里巴巴整个转型过程中遇到的痛点来介绍一下我们的产品。上图展示了阿里巴巴分布式数据库的发展历程。目前阿里巴巴通过分布式数据库来解决问题。DRDS产品支持多维拆分。比如我们可以按照交易ID、客户ID、时间进行拆分。上图是分布式数据库DRDS的一个典型客户案例,某电信运营商的案例。在业务发展过程中,存在快速增长的痛点和可扩展性的瓶颈。同时,如果客户采用传统方式拆分数据库,将面临应用改造成本高的问题。DRDS提升存储扩展能力和计算能力,应用透明接入,平滑扩展,透明开通,透明读写分离,解决客户应用改造成本高的问题。▍阿里巴巴数传产品具备三大核心能力:支持传输同步、支持数据库迁移、支持数据订阅。可以将数据变化转化为消息发送给下游,下游根据消息消费应用手机。上图为数据传输DTS的架构图。在下层,我们支持云数据库,包括ECS自建数据库、用户IDC数据库、群、蚂蚁。通过该产品,可以将数据迁移到不同的目的地,还支持数据同步订阅。我们可以将数据库数据转换成文件。上图是数据传输DTS客户案例。客户面临的主要问题是:本地Oracle数据库是客户业务的性能瓶颈,Oracle上的存储过程在活跃时占用了实例近80%的CPU。并且要求在系统不停机的情况下,将Oracle上的业务迁移到阿里云DRDS上。解决方案是:通过DTS在Oracle和DRDS实例之间建立一个实时同步链路,保证DRDS和Oracle数据的实时同步。DRDS和Oracle实例之间的数据实时同步后,业务选择任意时刻将部分流量切换到阿里云上的DRDS。通过DTS,在DTS上产生的业务流量回流到Oracle,Oracle和DRDS在业务割接时互为容灾,保证业务的连续性。阿里巴巴数据管理的前世今生。通过信息化对数据库进行统一管理,通过非运维操作的规范化、自动化、平滑的自助变更,DMS在公有云上正式商用,同时也支持私有化输出。▍混合云数据库管理HDM上图展示了混合云数据库管理HDM的架构和能力。我们日常的运维工作基本上可以通过HDM来解决。HDM的核心能力包括:打通混合云数据库架构、多环境统一管理、低成本自动化运维、容灾切换、快速弹性扩容、一键切换、稳定、容灾、灵活。上图是基于HDM、DBS、DTS的容灾方案。最高级的方法是我们直接通过拉取文件的方式把本地备份丢到OSS上,当然是比较低级的。二是我们可以通过DBS实时备份到云端,备份之后我们也可以通过DBS恢复到本地或者RDS。第三,我们将云下的数据库通过DTS同步到云上的RDS。我们云上的RDS和云下形成容灾,也就是说一旦我们本地的IDC无法访问,我们可以访问云上的RDS,保证业务的连续性。这个场景意味着我们可以实现云上和云下的双向同步。这种双向同步其实可以实现异地多activity。也就是说我们在A机房有一个数据库,在B机房有一个数据库进行双向同步。这两个双向同步可以支持IDC接入,也可以在云端接入。只要应用端搭建的足够好,那么这种双活是可以实现的。同时,基于我们的HDM,可以打通我们的用户IDC和云对云,实现数据库容灾一键切换。▍企业级数据库产品架构刚刚分享给大家的几款产品,让我们来回顾一下这些产品的一些能力。首先是分布式数据库DRDS。我们可以理解为满足数据库可扩展性的存储层。第二个是我们的数据传输。数据传输实现了数据迁移、同步和订阅的能力,可以将云外的数据库与云端的数据库连接起来。同时也不局限于这些功能,包括我们自己的内饰。第三是我们的数据管理。可以理解为是数据库层面的DevOps,让我们企业的开发人员和测试人员在没有太多交互的情况下完成数据管理。还有我们的数据库备份DBS,满足企业以较低的成本备份数据的需求。最新的是我们的混合云数据管理HDM,可以连接云端和云端的数据库,实现一键容灾切换。▍企业级数据库解决方案除了产品,我们也会输出一些解决方案,这些解决方案依赖于产品,为我们企业提供一些解决方案。像研发效率保障和数据安全解决方案,这都是基于DMS。也就是说,我们出口的时候,我们会帮助企业使用我们的产品,同时给我们的企业一些建议,比如我们如何才能做到更高效、更安全、更合规的数据管理系统。第二个是DTS。DTS本身有数据迁移和同步功能,也有订阅功能。然后我们会协助企业一起使用DTS,将数据迁移到云端。并且基于HDM、DBS、DTS,为企业输出多层次的容灾解决方案。
