深度解读openGauss3.1：四大创新架构技术赋能企业核心场景应用增长趋势。同时，企业对数据处理的需求也发生了变化，从原来的实时处理到对数据资产的深度分析，HTAP混合关系型数据库成为企业的最佳选择。openGauss基于市场的实际需求，结合用户和开发者的真实需求，进行了全面的技术架构创新和产品功能演进，并于2022年9月30日正式发布openGauss3.1版本。openGauss3.1版本采用四创新架构技术，持续演进“四高”能力，支持实时数据交易和分析混合处理，赋能开发者一站式HTAP解决方案，助力企业加速数字化转型进程。从OLTP到HTAP，用户场景驱动数据库变革说到数据库，就不得不提OLTP和OLAP。OLTP作为承载CRM、订单系统、销售系统等企业在线交易处理的核心数据库系统，对高并发、低延迟、数据一致性有着极高的要求。OLAP主要用于大量数据的分析、处理和汇总，因此对磁盘的容量要求很高，性能上可以容忍少量的滞后。在数字化转型初期，企业的核心应用场景比较单一，由于数据量较小，OLTP数据库完全可以满足企业的需求。随着数字化转型的不断深入，数据量呈现爆发式增长。加之AI、大数据等新兴技术的不断发展，企业对数据分析处理的需求越来越多，OLAP承担了大数据分析的任务，加工需要。虽然我们可以找到仅处理OLAP需求的100%OLAP系统，但OLTP系统绝对不是100%OLTP。因为，在当今这个数据驱动的世界里，任何业务系统都会有一个简单的子系统来处理实时报表，一些业务还自带大量的统计查询。为此，用户从业务发展的角度，希望用最简单的方法来解决随之而来的实时分析需求，HTAP应运而生。为了满足openGauss社区用户和开发者的真实需求，在openGauss3.0的基础上正式发布了openGauss3.1。除了不断演进的“四高”能力外，还采用了四大创新架构技术，不仅可以同时支持实时数据交易和分析混合处理，而且大大提高了可扩展性，更好地满足不断变化的用户场景。四大架构创新技术，赋能企业核心应用场景随着企业核心应用场景的不断变化和openGauss社区的蓬勃发展，行业客户和社区开发者提出了大容量、易扩展、易上线的理念。观察和易于使用的openGauss解决方案。迁移、高安全等更多场景化需求。基于不同场景的挑战，openGauss3.1版本开创了四大架构创新技术：资源池架构、可观察架构、插件架构、数据安全架构，并在高性能、高可用、安全性高，智能化程度高。发展。1）资源池化架构：openGauss3.1通过计算池化、内存池化、存储池化形成三层资源池化模型，应对大容量、易扩展带来的挑战。在存储池化方面，openGauss3.1采用多节点共享一份数据，消除了日志复制的开销，存储成本降低50%以上；在内存池化方面，openGauss3.1打通了不同节点间的内存访问通道，叠加数据库本身的事务同步能力，形成了多节点下的多版本一致性读（MVCC）能力。无论应用从哪个节点访问，都可以获得最新的一致数据。对数据一致性敏感的应用程序工作负载可以轻松、透明地从单个节点扩展到多个节点。在计算池化方面，使用了ShardingSphere的分布式OLTP组件和基于openLooKeng（openLooKeng是华为开源的高性能数据融合分析引擎）的分布式OLAP组件。OLTP组件和OLAP组件组成的HTAP架构，实现用户表元数据的统一管理，为应用提供高并发、低延迟的OLTP和OLAP负载处理能力，满足企业对海量数据业务处理的需求。2）Observable架构：openGauss3.1基于Observable项目的三大支柱构建了一个整体的Observable框架，实现了openGauss数据库全栈的可观察性、可溯源性和可诊断性。Logging方面，实现了对操作系统和数据库性能指标的采集和查询能力，使用filebeat和Elasticsearch采集系统日志和数据库日志。Metrics方面，利用Promehtheus组件实现对监控数据库和操作系统多维度指标的全栈监控，以及基于指标数据的故障预测和预防。在Tracing方面，利用eBPF技术和实时SQLTracing，实现对性能问题和故障的分析诊断。3）插件架构：openGauss3.1全面升级了MySQL数据库的内核兼容和迁移能力，让企业从MySQL数据库迁移到openGauss更加简单快捷。在MySQL兼容性方面，通过在SQL引擎中加入数据库扩展点，组织openGauss社区和DBV合作伙伴共同开发MySQL语法特性。目前兼容超过450个MySQL语法特性，并以插件的形式动态加载，支持热插拔。拔掉插头，实现MySQL的无感切换。在MySQL迁移方面，全量迁移实现单节点1小时在线迁移1TB数据，大大提升迁移效率。在增量迁移中，实现了每秒30000TPS的多线程日志回放。同时，在数据校验方面，采用Merkle树校验算法，实现迁移过程中数据不一致的实时发现。在并行运行方面，迁移后新旧系统可以并行工作，支持日志反向同步，实现极端故障场景下的快速逃生能力。4）数据安全架构：openGauss3.1采用的数据安全架构不仅支持基于同态加密的全加密数据库，还支持TEE软硬件协同安全加密，全面支持国密算法，完全符合数字安全法规，进一步提高数据安全性。除了四大架构创新技术，openGauss3.1还在“高性能、高可靠、高安全、高智能”四个方面不断创新。例如，在高智能化方面，openGauss3.1使用贝叶斯网络算法，在复杂场景下准确评估关联列的基数，大大提升了多列基数估计的准确性。实验表明，如果在1000万数据中建立4个关联列和4个关联索引，如果使用独立伪算法的基数估计会产生76倍的误差，而多列高频统计算法会产生6倍的误差误差，而贝叶斯网络算法的误差仅为1.1倍。在实现上，优化器深度集成了DB4AI的能力，引入了统计信息分析器，包括模型创建、模型训练、模型推理、模型应用等AI核心组件。算法提升30%以上，是利用AI技术解决经典数据库问题的创新之举。在高可用方面，openGauss3.1基于发布-订阅模型的逻辑复制，实现双向数据同步和异地多活。由于openGauss3.1发布者的数据备份包含逻辑复制槽，恢复备份后发布订阅不中断；另外，openGauss3.1支持发布订阅同步基础数据，增量同步无缝对接；支持以二进制格式发送数据，减少网络传输开销；支持发布者主备切换时，支持订阅者自动连接；支持多个节点相互订阅，解决循环订阅问题。同时，逻辑复制功能由openGauss3.1内核集成，无需额外安装第三方工具。正是四大架构创新技术的加持和不断演进的“四高”能力，让openGauss3.1的核心优势更加凸显，为社区用户和开发者提供了新的选择，成为企业的核心应用场景。首选，为OLTP向HTAP的转换提供更好的选择，满足市场需求。驱动产品创新和市场需求螺旋式增长，携手夯实企业数字化转型基石，打造根系技术，打造根系社区，发展新生态。openGauss社区的每一次技术突破，每一次行业创新实践，都离不开数据库合作伙伴和客户。和开发人员的努力。openGauss社区自上线以来，始终围绕市场需求进行技术创新，将用户和开发者的需求放在首位。openGauss社区通过开放开源的平台，汇聚产业生态链上下游合作伙伴和开发者，驱动产品创新和市场需求螺旋式增长。经过两年多的发展，openGauss开源社区在技术、生态、业务、社区治理等方面稳步推进，快速成长。截至目前，已有185家企业和机构加入社区，4000多名开发者为社区做出贡献，23000套商用实施方案适配500多个行业应用，应用于金融、政府、电信、能源、制造和运输。其他行业核心业务的中等规模商业使用。此外，openGauss全球下载量已达100万套，覆盖90个国家的800多个城市。openGauss3.1发布后，将成为openGauss社区的主力版本。社区用户和开发者也将基于openGauss3.1打造更多行业应用，解决更多企业面临的挑战。华为将携手各行各业的合作伙伴，基于openGauss3.1版本开发更多的商用实施案例，为千行百业提供更好的数据库解决方案。未来，openGauss开源社区将继续关注用户和开发者的实际需求，紧跟市场需求，与生态伙伴紧密合作，不断加快创新步伐，全面夯实企业数字化转型的基石，推动中国数据库产业发展进入新时代。
