当前位置: 首页 > 科技观察

2020年将激发大数据和SQL的5大数据和SQL趋势

时间:2023-03-14 22:01:25 科技观察

分布式数据处理、协作SQL和开源SQL是当今工作场所最需要的技术技能。该技术可以追溯到1970年代,至今仍是我们连接大多数数据系统的方式。无论您使用什么拖放工具,或者尝试用新的查询范式替换它,它仍然存在。我们今天要讨论的许多现代数据库技术一直以来都必须遵守SQL策略,并且SQL需要更新。然而,这并不是说SQL的环境在过去几十年中没有发生太大变化,也不会继续发展。这是SQL如此持久的原因之一。它与时俱进。本文将总结SQL和数据分析领域当前发生的一些主要趋势。我们将讨论SQL如何变得更加协作和开放,我们世界上继续运行的大多数数据库如何已经或已经转向开源,并提出一些您可能没有听说过但应该注意的技术。在技??术世界发生了这么多事情之后,这将有助于清楚地了解SQL和数据世界中一些更重要的变化。SQL不仅仅适用于数据驱动型公司的数据工程师和分析师经理和产品经理开始不必要地了解SQL。SQL是数据的语言,如果你想与数据交互,你需要知道它。您是否想轻松计算用户在您的产品上花费的平均时间,但又不想等待分析师?您最好弄清楚如何运行查询。这种轻松运行查询的能力还得益于不再需要安装SQL编辑器这一事实。对于基于云的数据,仓库附带一个SaaSSQL编辑器。在下一节中,我们将详细讨论SaaSSQL编辑器。但这里重要的部分是您不必等待30分钟来安装编辑器,也不必忘记管理它的所有麻烦。现在您只需转到URL即可访问您团队的数据仓库。这使得公司中的任何人都可以轻松访问其数据。我们的轶事经验以及我们在过去五年中确实跟踪.com的事实表明了这一点,并且该网站在2019年的跟踪表明对SQL技能的需求稳定。总的来说,我们预见未来将不仅仅是大型科技公司使用SQL和分析来做出明智的决策。为此,我们需要能够让任何人更轻松地访问其公司数据的工具。SQL和分析变得更加协作SQL和分析变得更加协作。如前所述,从数据中获得洞察力变得越来越重要。这意味着更多的人参与创建查询、分析和指标。协作工作始于Google表格等产品。这种趋势已经扩展到SaaS产品,例如Figma(协作设计)和PopSQL(协作SQL)。PopSQL等技术使您的团队能够通过文件夹和版本控制轻松协作和跟踪查询工作。现在您不必担心有人不小心更改了报表或仪表板上的查询。版本控制允许您将查询恢复到以前保存的状态。这可确保您的团队始终与用于计算指标的SQL和逻辑保持一致。您还可以轻松共享查询、更新查询、派生查询和可视化数据。此外,Figma、GoogleSheets和PopSQL等工具可轻松与Slack等其他协作工具集成。这些集成还使您的团队可以轻松共享图表、查询、设计和见解。您的团队可以很容易地看到其他人在做什么,正在进行什么更改,并了解为什么要进行更改。随着远程工作的概念在许多公司中越来越成为现实,拥有便于协作的工具将变得非常重要。最后,像PopSQL这样的技术是自助服务分析向前迈出的重要一步,因为它们将查询数据的能力交到了分析师和数据工程师的手中。开源仍然是一个流行的数据库。Oracle和MSSQL等付费许可数据库管理系统似乎是团队非常受欢迎的选择。但是,MySQL和Postgres这两个开源数据库管理系统是目前最受开发人员使用的选择。根据EverSQL在2018年和2020年进行的一项调查,MySQL仍然是最受开发者欢迎的数据库管理系统。此外,据StackOverflow称,Postgres最近已经超越MSSQL成为第二受欢迎的数据库。Postgres引入了一种新型的关系数据库。这称为对象关系数据库管理系统(ORDMS)。这与面向对象编程具有相似的属性,其中您有类和继承。此外,关于Postgres的其他一些漂亮的特性是它允许数组并具有一些PubSub功能。向开源的转变并不新鲜。然而,事实是许多公司开始不再使用Oracle和Microsoft的免费选项。他们选择支付云计算费用或支付许可费用。总的来说,我们已经看到开发人员的数据库选择发生了很多变化。云优先开源数据库正在获得关注和资金虽然Postgres通常是选择从Oracle迁移到开源解决方案的公司的常见选择,但Postgres的开发并没有考虑到云基础设施和复杂性。这迫使团队开发复杂的云基础设施来管理全球使用的应用程序。但是,还有其他开源解决方案。2019年7月,YugabyteDB100%开源。许多人现在可能会问(尤其是如果你在美国的话),“什么是YugabyteDB?”YugaByte专有的面向文档的存储格式是RocksDB的高度定制形式,可提供低延迟访问和高数据密度。它在流行和已知的API上运行。YugaByte旨在填补所有空白。想要一个也是ACID的NoSQL数据库吗?然后Yugabyte打算占领那个市场。它旨在解决开发人员在部署SQL数据库(如MySQL)时遇到的问题,这些数据库需要分片和复杂的基础设施才能运行多区域系统。YugaByteDB通过自动分片和负载平衡以及其他利用云优先方法的功能来实现这一点。那么,如果YugaByte自2016年以来一直存在,为什么要在这次更新中使用它?这是因为本月早些时候WiproVentures向Yugabyte投资了3000万美元。此外,Wipro还计划将Yugabyte的开源SQL数据库带给客户。可能有1,000家新公司正在使用Yugabyte。虽然Yugabyte没有被包括在EverSQL的调查结果中,但由于更多用户的关注和兴趣增加,它可能会在未来几年内出现。现在,老实说,解决NoSQL和标准关系数据库的所有问题的数据库将是一个奇迹。所以在很多方面,我们很惊讶它没有看到更多的采用。我们很想知道Yugabyte是否像许多其他承诺解决组织中所有问题的奇迹技术一样,在未来几年内消失。用于数据仓库的分布式数据库已成为常态在技术领域,数据库有两个主要用途:应用程序和分析。这两个主要用例受益于不同的数据库系统和不同的数据库设计。特别是,为一家公司的数千名分析师、数据科学家和数据工程师运行数百万次计算的分析数据库通常会受益于某种形式的分布式或并行组件。想想Redshift以及它如何依赖MPP(大规模并行处理)。但是,这个领域出现了很多新的SQL和NoSQL技术。例如,FacebookPresto的分支Starburst又获得了4200万美元的资金。Starburst是Facebook开源项目(Presto)的衍生产品。Starburst的目标是创建Presto的企业版,因为Presto本身没有访问管理功能,没有连接到Teradata、Snowflake和DB2等企业系统的连接器,也没有用户可以配置集群以自动扩展的管理控制台。这使得Presto很难单独用于大多数公司。真可惜,因为Presto允许您轻松地跨数据库运行查询,而无需将数据加载到数据仓库中。所以最近Starburst的融资非常值得一看。我们期待看到这项技术的发展方向,并希望更多的公司可以利用Presto,而无需管理Presto的所有复杂性。本月另一个有趣的发展是Spark3.0的发布,当我们谈论像Presto这样的分布式数据库系统时。新版本的Spark带来了许多增强功能。其中许多增强功能旨在使SparkSQL更符合ANSISQL。这是一个重要的注意事项。一种似乎仍然正确的模式是您无法按原样摆脱SQL。许多工具和技术都尝试开发它们的查询语言。但是,归根结底,SQL仍然存在——不像许多已经消逝的编程语言。SQL仍然是数据语言。您的团队如何利用您的数据?数据库和SQL不会消失。如果有的话,它们正变得越来越普遍。Starburst和PopSQL等工具显示了让您的工程师、分析师甚至非技术人员精通数据的重要性。这些技术或类似技术肯定会在大大小小的公司中大量使用,因此它们可以帮助改进决策制定。我们喜欢看到像PopSQL和Starburst这样的工具。这些工具使SQL更具协作性,并简化了Presto等强大技术的部署,从而打开了数据世界。这有助于提高公司执行数据分析、做出更好的决策和开发更好的数据流程的能力。有了这个,我们将每两周总结一次数据和技术领域的动态。我们的目标是继续提供有关新兴技术、风险投资等的未来更新。敬请关注!