当前位置: 首页 > 科技观察

赋能全时数据:腾讯TDSQL全时数据库系统论文入选VLDB

时间:2023-03-20 21:37:45 科技观察

当地时间2019年8月26-30日,VLDB2019大会在美国加州召开,腾讯分布式数据库TDSQL与中国人民大学中国联合研究成果被VLDB2019录用,将以长篇论文的形式发表。VLDB是国际数据管理和数据库领域的学术会议之一。这是继去年腾讯TDSQL相似度计算论文被VLDB录用后,腾讯TDSQL第二次进入VLDB殿堂。在论文中,腾讯推出了基于TDSQL扩展的全时数据库系统(T-TDSQL)。在保证OLTP性能的前提下,系统提供轻量级的全时数据管理功能和全时数据事务处理能力,以及将当前状态数据集成到生产系统、历史状态数据集成到分析系统的能力。集群架构构成了全时数据的完整解决方案。当前状态数据库和历史状态数据都是有价值的,全时数据为数据安全、数据回放、数据挖掘和AI技术提供了物理基础,可以进一步建立数据之间的关系,实现“数据”的逻辑lineage”等,使得TDSQL具备了对海量全时数据的分析计算能力。一般主流数据库由于技术复杂,不保存历史数据,丢弃有价值的历史数据。这成为一个痛点T-TDSQL是腾讯分布式数据库TDSQL推出的具有海量时态数据计算能力的解决方案,突破了全时数据模型,全时数据存储、查询、计算等特性,在保持全局一致性的基础上,在平台上有高效的表现,真正为数据赋能。据了解,论文提出了一种扩展的全时数据模型,提供内置的全时数据库解决方案。经过对TDSQL的大量优化,最终实现了TDSQL全时数据库系统。通过引入异步数据迁移、增量历史数据管理、原生全时查询执行器等策略,实现轻量高效的全时数据管理和计算。通过TPCC测试基准测试,基于TDSQL的全时态数据库系统的系统性能与原来的TDSQL相比,平均下降率不到6%,领先于其他基于传统关系数据库的时态数据库系统。此外,基于真实批处理业务场景的实验结果表明,腾讯全时数据库系统在简化业务应用开发的同时,可以将业务执行时间缩短近一半。更重要的是,该方案具有很强的通用性,可以很容易地引入到其他数据库系统中。图TPCC测试结果图实际业务场景测试TDSQL是腾讯TEG计费平台部自主研发的金融级分布式数据库。十多年来承载了腾讯近90%的金融、交易、计费业务。2014年起,TDSQL通过腾讯金融云平台对外开放,提供稳定可靠的云数据库服务。目前在公有云服务超过500家金融机构,服务包括中国银行、微众银行在内的超过44家银行和政府机构。为企业提供私有云服务。TDSQL一直致力于数据库技术的自主研发。在VLDB2018上,腾讯TDSQL展示了合作成果MSQL+,一款基于TDSQL的插件式近似查询工具https://mp.weixin.qq.com/s/BZZOH20NfRyCltPkl7Q7_Q。今年是TDSQL连续第二年参与VLDB,为学术界贡献领先的研究成果。同时,腾讯TDSQL通过腾讯高校合作犀牛鸟研究项目、高校联合实验室等平台,持续与学术界建立科研合作,推动技术创新。此次入选的论文也是基于与中国人民大学长期合作所产生的优秀成果。除了不断提升性能和完善配套服务,包括TDSQL在内的腾讯云数据库也一直秉承开放共享的心态参与开源。未来,TDSQL将持续加大技术投入,不断提升产品能力,助力企业数字化转型升级。