当前位置: 首页 > 科技观察

扬帆大数据时代,英特尔携手星环打造全闪存分布式数据库

时间:2023-03-15 19:50:06 科技观察

数字时代,我们的一举一动,一言一行,都转化为海量数据。很多人都有过这样的经历——你可以随时在银行或话务员处查看最近几个月或过去一年的账单;但是当时间跨度超过一年的时候,系统的查询时间就会变长,你可能会断断续续的等待几秒。这并不是系统“偷懒”,相反,它正在帮助你全速从以前的数据库中检索数据。这就是线上业务和线下业务的区别。对于那些检索频率高、应用范围广的数据,很多都存储在在线数据库中,方便用户随时检索;而对于那些时间比较长或者检索频率较低的数据,更多的时候是存储在离线数据库中,这样可以进一步降低使用成本,提高整个系统的资源利用效率。但这种好处并不普遍。数据查询和检索是一项复杂的工程。要知道目前国内用于商业用途的数据库有60多种,这还不包括很多公司自??己开发的开源版本。也就是说,这些不同品牌的数据库很容易对数据应用造成障碍,也会让你在数据应用中遇到包括应用复??杂度、数据处理速度、系统吞吐能力、平台部署调优等方面的问题,相应地,它会影响用户决策,是制约行业发展的关键。要解决这个问题,最重要的是提高数据检索的效率,即提高数据处理性能和系统吞吐量。以最关心安全稳定的金融业务为例。我们中的许多人都有与银行打交道的经历。以前我们去银行办理业务,大部分后台的结构化数据库都是一一对应的,比如我们做的每一笔交易都在这里;但现在银行也强调非结构化数据的应用,比如人脸识别,比如开户全程录像,这些非结构化数据也需要存储在数据中,这也改变了原有的数据应用形式和方式。在传统环境中,大多数数据库都是为结构化数据构建的,而且大多使用机械硬盘;尽管很多人都了解数据库的性能,但他们受到吞吐能力的限制。要求不高,甚至对稳定性要求更高。然而,随着大数据和人工智能时代的到来,高效率、低延迟、实时响应等需求的出现,使得传统数据库不再满足应用需求,越来越多的供应商开始研发新数据库与全闪存相结合。平台以满足用户对极致性能的需求。分布式数据库的出现恰好解决了数据利用的效率和安全等诸多问题。集群中的每个服务器都可能拥有DBMS的完整副本或部分副本,并拥有自己的本地数据库。许多位于不同地点的计算机通过网络相互连接,形成一个完整的、全局的、逻辑上集中的数据库。,物理分布的大型数据库。这样既提高了数据检索的效率,又提高了数据的安全性和稳定性。星环科技是最好的之一。作为一家专注于企业级大数据基础软件的公司,星环科技自成立以来推出了多款大数据基础软件平台,尤其是其中一款名为星环ArgoDB的分布式关系型数据库产品获得了业界的认可。认可和青睐。甚至在几年前,星环科技就凭借星环ArgoDB成为了英特尔选定的解决方案之一。随着前不久的升级,星环ArgoDB也采用了新发布的第三代英特尔至强可扩展处理器,性能提升了一个新的高度。Argo一词取自太阳帆,以一个中心为起点展开多个叶片,也是星座的名称。星环科技用Argo命名自己的分布式闪存数据库产品,体现了多模式数据库可以满足各种应用场景。太阳帆的螺旋结构具有运动感和速度感,体现了ArgoDB的高性能。也希望Argo的太阳帆能帮助客户在大数据的世界里遨游,乘风破浪,与大家一起披荆斩棘。事实上,结合当前开源、开放的趋势,分布式数据库已经成为很多企业的选择。星环ArgoDB依托完整的SQL支持、分布式事务支持、实时和批量数据访问、海量数据OLAP和离线分析、支持三层混合存储等5大特性得到了业界的认可。在这五个特性中,后三个与全闪存的性能直接相关。例如,“实时和批量数据访问”。ArgoDB的这个特性支持实时和批量两种数据导入方式。线上业务采用实时数据接入,保证数据时效性;数据仓库等离线业务采用批量数据导入方式,吞吐量更高。显然,这需要系统具备实时响应的效果,而ArgoDB借助Intel闪存平台的优势,不仅保质保量地完成了数据写入任务,还支持离线分析和高并发同时在PB级数据量上实时/准实时的数据集市业务,大大提升了系统的存储和计算能力,具有更大的性能优势。更重要的是,ArgoDB支持内存/闪存/磁盘三级混合存储,既有全闪存的优势,又能兼容传统数据库平台。例如,对于同一份报表,DBA可以指定副本存储策略,比如一份保存在闪存中,两份保存在磁盘中。这种多重备份方式大大提高了系统的安全性和可靠性。多级存储还可以让用户更好地在性能和硬件预算之间找到平衡点。俗话说——火车跑得快,全靠头带。为了提高数据处理速度,除了改进存储介质和算法优化外,更重要和直接的方法是采用更强大的计算平台。为此,星环采用第三代英特尔至强可扩展处理器,通过软硬件结合为客户提供超强计算能力。为了验证这一改进,星环与英特尔在测试中选择了TPC-H基准测试。这是决策支持系统的基准测试。它由一组面向业务的临时查询和并发数据修改组成。它模拟了数据库的日常应用。它可以检索大量数据,执行高度复杂的查询,并提供关键业务问题的答案。.(基于星环ArgoDB2.0)在实际测试中,星环科技选取了计算密集型相关查询1、4、5、9、10、16、18、20、21等项。测试结果表明,与上一代CPU,第三代英特尔至强可扩展处理器将星环ArgoDB的每小时查询处理量(QueryPerHour,QPH)提升了40%。这极大地解决了以往计算密集型操作下CPU性能不足的效率瓶颈,更好地满足离线批量数据仓库、实时数据分析平台、OLAP数据库、全文检索数据库等负载的计算需求,同时也提高整体性能。不仅如此,在IntelSSDDCP4510、IntelSSDD3S4510、Intel网卡等产品的帮助下,整个IntelXeonScalable家族也获得了性能加成,也为用户一次性解决了后续的应用难点。对全部。.从用户最关心的成本控制角度来看,正是因为新平台的性能优势,使得原有单服务器节点的QPH性能有了很大的提升。用户可以减少基础设施中需要部署的服务器节点规模,减少相应的能源、运维、空间等采购成本,也符合当前国家对“碳达峰”和“碳中和”的强调”。正如星环科技联合创始人、副总裁朱俊臣强调的那样:“近年来,星环科技与英特尔开展了广泛而深入的合作,不仅在大数据、云计算和人工智能产品上不断优化。英特尔架构方面,他们还合作加速了第三代英特尔至强可扩展处理器的应用。TranswarpArgoDB测试中的例子表明,第三代英特尔至强可扩展处理器在性能方面较上一代具有显着优势。结合所选解决方案在可用性和可扩展性方面的优势,可以帮助用户加速以数据为中心的转型。“如今,随着互联网的飞速发展,人类社会的数据量也在飞速增长。我们一年产生的数据,相当于人类在现代化之前所有历史的总和,甚至很多业务量都是有可能在短短一个月内突然暴增数千倍的爆发式增长,相应的数据很可能从原来的数百GB迅速增长到数百TB,这对各行各业提出了新的挑战,尤其是对金融行业而言。一向以稳健着称的行业对于行业来说,我们需要更全面的转型升级,在这个过程中,我们需要一个能够快速响应、提供零延迟服务的数据平台。一代英特尔至强可扩展处理器TranswarpArgoDB扮演更重要的角色,使以银行为代表的金融行业能够快速响应结构化和非结构化数据,也有助于金融应用更快落地,使得业务本身无论运行速度如何,在用户体验上也得到了全面升级,更适合大数据和数字化的应用需求。未来。