当前位置: 首页 > 网络应用技术

50亿个大规模数据存储和有效分析?高斯(Cassandra)3个秘密

时间:2023-03-07 01:32:52 网络应用技术

  摘要:信息社会正在从互联网时代转变为物联网的时代。企业不可避免地会面临数据量的增加带来的一系列问题:如何存储和扩展容量,如何实现原始业务,智能和真实时间分析的最小变化。

  目前,信息社会正在从互联网时代转变为物联网,信息互动变得更加复杂,高效和聪明。对于互联网公司和物联网公司,它们既是机遇和挑战。数据量的增加带来了一系列问题:如何存储和扩展容量,以及如何智能分析和实时分析原始业务变化。

  为了应对挑战,华为Cloud Gaussdb(用于Cassandra)为客户提供了一系列功能,例如强大的扩展,高存储,高效的介绍/出口/出口和真实的时间分析,并成功地为许多互联网公司和物联网公司提供了服务,这些公司都为此提供了服务。Support。这篇文章将以客户业务的痛苦点为例,以讨论有效的存储和实际时间分析的三个秘密。

  当用户使用数据库或其他存储数据库作为云离线部署数据库时,当容量达到阈值时,用户通常需要提前计划和购买存储资源,并且还可能需要与不必要的计算资源合并。对于Caseandra),没有更多的麻烦。GaussDB(对于Caseandra)使用计算分离体系结构,可以分别扩展,效率高效率,没有业务感,并且最大程度可以扩展到PB级别。

  此外,为了进行大数据分析,客户在数据库中写了数据,将其写给HDFS的副本进行MAPREDUCE和SPARK分析。同时,需要维护两组资源。维护和资源成本已成为疼痛点。客户使用GaussDB(用于Caseandra)后,它只能使用GaussDB(用于Caseandra)来完成数据库存储的功能并扩展大数据分析。功能开发的信息,而不是资源管理。

  用户的使用方案需要爬行或用户输入在线分析和实时推荐业务的数据。该业务中的全部数据已达到50亿,但增量数据少于5亿。分析对象主要添加新数据每日dataessencein在这种情况下,GaussDB(For Cassandra)为客户提供流服务服务+真实时间分析解决方案。在失去读取和写作性能的一小部分的前提下,客户可以实现数据阅读和写作以及无重构的实时分析来解决解决方案,如下所示。该解决方案主要具有以下阶段:

  另一个客户的业务需要定期分析和处理完整数据,但不想影响在线业务,并希望在Leisure.gaussdb(用于Cassandra)中处理它,提供完整的数据导出和分析解决方案,可以由它触发。在业务低峰期间触发任务,用于数据导出和冷数据分析。数据导出率是开源的10倍以上。同时,基本上没有业务阅读和写作。该解决方案具有以下阶段:

  通过这三个秘密,华为Cloud Gaussdb(适用于Caseandra)完美地解决了诸如艰难的扩展,高成本和不及时更改之类的问题,并意识到了有效的存储和实际时间分析大量数据。CASEANDRA)详细信息,欢迎您移动华为Yunyun官方网站。

  本文分享了自华为云社区以来的官员,作者:卡桑德拉官员。