当前位置: 首页 > 科技观察

TD退出,国内数据仓库来了

时间:2023-03-14 17:00:51 科技观察

近日,2月15日,国内IT行业闹了一个大事件。Teradata是在仔细考虑了中国当前和未来商业环境的不确定性后做出的决定。退出中国业务后,后续将进入中国公司的关闭程序。Teradata是一家拥有40多年历史的数据仓库公司。被业内专业人士称为“数据仓库人才的黄埔军校”,在大数据领域始终保持全球领先地位。1997年正式进入中国,率先在金融、电信领域推出了自己的数据仓库产品。由于当时中国软硬件基础薄弱,信息产业面临数据快速膨胀等因素,Tearadata很快在中国流行开来。摊开市场,直到最近退出,在国内还是有很多用户和市场的。下面谈谈对本次活动的看法以及国内数据仓库产品的机会。1.Teradata退出了,原因是卖的好,为什么退出了?笔者不是国际形势专家,我觉得有几个原因:一是国家间国际关系的影响;成熟稳定蚕食Teradata的市场。个人认为最大的原因是第三点,国内数据库的崛起,缩小了海外厂商的市场。国内的数据仓库产品很多,Teradata相当于台大的GBase8a、华为的GaussDB200、阿里的ADB等,另外Teradata是以一体机的形式销售。最大的特点就是贵,但是不缺钱的公司很多,在国内还是赚的盆满钵满。但是,随着不断的发展,国内的客户发现Teradata也存在不少问题。就算没有国际形势,没有监控事件,他们也有换人的念头尝试寻找可以替代Teradata架构的产品并使用类似的产品。下面也将从几个方面比较国内数据仓库产品与Teradata的异同点。2.Teradata退出,如何填写(1)Teradata技术架构Teradata是SharedNothing的MPP架构,主要包括分析引擎、BYNET和访问控制处理器(AMP)。Teradata以节点为系统的基本单位,一体机Server中的每台机器都称为节点,高层架构图如下:(2)主流数据仓库架构目前,国内主流数据仓库产品主要有三种架构。与师父。首先是Master的架构。主要产品为PG产品,如GreenPlum等通过PostgreSQL改造的产品。典型的架构图如下。无师父。二是无Master计算、存储、管理一体化。架构,其架构图如下Multi-Master第三种架构是联邦架构,也可以称为multi-Master。它与第一个非常相似。唯一不同的是,原来的Master-Slave模式变成了集群模式。架构图如下。这种架构让集群更能对外服务,因为连接应用的管理节点是集群模式,可以实现多个管理节点的高可用,不像Master-Slave模式。Master丢失后,切换到Slave的RTO过大,存在数据丢失的风险。目前国内支持该架构的数据库只有GBase8aMPPV9,国外有HDP2.0。(3)数据仓库全球概览Gartner作为全球最权威的IT市场研究和咨询公司,定期发布各种IT行业报告和著名的Gartner魔力象限。Gartner魔力象限通常从两个方面评估供应商:前瞻性和执行力。涵盖的公司包括:领导者、挑战者、远见者和部门领导者。前者考虑厂商提供产品底层技术基础的能力、市场领导力、创新能力、外部投资等,后者则考虑产品的易用性和价格、服务的完善程度、技术支持能力,以及管理团队的经验和能力等。象限图的横轴代表前瞻性,纵轴代表执行力。国内数据仓库也被Gartner评估过。过去几年,国内有两家厂商进入了魔力象限。例如,2017年共有22家厂商入选魔力象限。其中,亚太区的三位入围者均来自中国,包括GBase、阿里云和华为。这是中国厂商首次进入该象限。除了MicroFocus和SAP这两家欧洲公司外,其余17家都是美国公司。华为的GaussDB产品和NTUGeneral的GBase产品享誉全球,与Oracle、Teradata等知名数据库齐名。虽然不在同一个象限,但也代表了全球对这些厂商的认可。从这个角度来看,Teradata退出原有市场后,要填补新的市场空间,可以选择上述权威认可的厂商,如上述NTU的GBase8a和华为的GaussDB。(4)GBase8a,国产典型产品GBase8a是南大通用自主研发的分析型数据库,南大通用本身也是一家专注于数据库的公司。其产品涵盖分析、交易和其他维度。而分布式,有8a分析数据,8s集中事务库,8c分布式多模式数据库。对应的Teradata数据仓库产品为NTUGeneral8a产品,产品名称为GBase8aMPPCluster,最新版本为V953。据说在OLAP场景下性能很强,而且这款产品是2010年研发并投放市场的。OLAP领域可以说是一家公司资质最老、最稳定、最成熟的产品。最大的市场份额。GaussDBDWSGaussDB是华为旗下的一系列数据库产品,包括100、200、300。其中GaussDB100现已开源,名为openGauss,是一款面向事务的产品。GaussDB200现在叫DWS,是一款可以对标Teradata的分析数据仓库产品,GaussDB300是HTAP产品,还没有正式推出。(5)注重移植能力作为产品替代的重要考量因素,具备完整的移植能力非常重要。上面提到的这两款产品都有相应的从Teradata到本产品的迁移工具,包括DDL、视图、SQL、数据迁移。GaussDBGaussDB的迁移工具可以从官网找到它的语法。该命令以.sh结尾。估计是用shell脚本写的SQL转换迁移程序,但是这个工具不能迁移数据。GBase8aGBase8aMPP还有一个迁移工具,网上叫GBaseMTK,可以实现从Oracle、SQLServer、PostgreSQL、Teradata到GBase8a的数据迁移,但是好像只能实现DDL的自动转换和数据切换和迁移。至于Teradata的SQL迁移,目前网上没有找到对应的工具。咨询了南大将军以前的同事,好像GBase也有TeradataSQL转换工具,据说转换效率很高,准确率也不错。采用Python语言编写,可根据客户实际SQL风格灵活定制。从工具的语言上,感觉台大的通用工具会更强大。毕竟,Python比Shell脚本的编码要灵活得多。三、Teradata的退出引发思考Teradata公司的退出为我们敲响了警钟。单纯依靠国外产品的路线不会长久。最好的选择是立足国内市场,保持足够的技术自由度。至于TD数据仓库在国内和未来市场的替代,相信以GBase8a和华为GaussDBDWS为代表的国产厂商的产品应该能够担当起重任;也希望和期待更多国产数据库不断涌现,壮大国产数据库生态。作者介绍韩峰,社区编辑,CCIA(中国计算机协会)常务理事,前OracleACE,腾讯TVP,阿里云MVP,dbaplus等社区创始人或专家组成员。具有丰富的一线数据库架构、软件开发、产品设计、团队管理经验。曾担任多家公司的首席DBA和数据库架构师。涉足云、电子商务、金融、互联网等行业,精通各种关系型数据库,也涉足NoSQL和大数据相关技术,具有丰富的实战经验。他撰写了与数据库相关的书籍《SQL优化最佳实践》和《数据库高效优化》。