数据网格有望升级整个IT系统我们IT人都有这样一个习惯:创造流行语,然后跟风。然而,数据网格不仅仅是一个流行语,因为它有望彻底改变我们处理和查看数据的方式。这将对数据是关键要素的所有领域产生影响。当前数据级别的报告表在我们将数据移动到下一个级别之前,简要概述当前数据级别的进度或报告表。下图显示了当今IT系统中通常如何处理数据。图1.来自系统的数据流入DWH或数据湖如上所示,来自许多事务/运营和外部系统的数据将通过ETL作业网络流入数据仓库。许多活动(如清理和转换等)将在最终消费者可以聚合/聚合和使用此数据之前完成。这种方法已经经过了几十年的试验和测试。但在当今数据无处不在的世界中,这种方法碰壁了。现代数据湖方面也是如此。事实上,在大多数情况下,数据湖更糟糕。随着大数据/物联网和流媒体的出现,大多数组织不知道如何处理数据。虽然他们知道数据是新的石油,但他们不知道如何提炼和使用它。他们甚至没有太多考虑他们想要使用数据的分析用例。也许流行语数据湖正在让他们漂泊。由于其他人都在从事数据湖,因此越来越多的人开始效仿。如前所述,数据湖的情况更糟。主要原因是大多数组织在数据仓库方面仍然有某种治理和政策。但就数据湖而言,在大多数情况下,所有类型的数据(结构化/日志/流数据等)都只是被转储到某种廉价的存储系统中,未来会有相应的用例,能够从这个正在被挖掘的新油田中受益。但愿望并不总能成真。报告中可以改进的一些领域?由于数据集中且无处不在,数据的数量和速度变得如此之大,以至于集中式系统无法处理。?数据工程/数据仓库团队对运营数据、领域和复杂性知之甚少。?在这样的系统中处理变化的方式没有太多的灵活性。应用层如何更上一层楼?在过去的几年里,领域驱动设计和微服务确实改变了应用层的完成方式。单体应用系统被转化为特定领域的功能或微服务。这允许领域团队专注于他们特定于领域的功能。他们对自己的领域了如指掌,更不用说我们在这种环境中看到的敏捷性(当然,还有很棒的工具和流程,如CI/CD、DevOps、容器等)。图2使用领域驱动设计将单体应用程序转换为微服务如果您只看上面的两个图,您会发现我们在应用程序层和数据层采用了完全相反的方法。在应用层,我们只是将单体应用分解成多个较小的单元,而在数据库层,我们将来自各个领域的数据放入一个巨大的单体单元中。这就是数据网格派上用场的地方。让我们快速看一下这个数据网格到底是什么。数据网格架构使业务领域能够自主定义、创建、管理和共享数据产品。所以基本上,每个业务领域都会有自己的数据。它们可以使用API等方式与消费者共享,但它们管理着数据的整个生命周期。1)单个数据产品扩展性更好(分布式扩展),因为没有单一的集中式单一应用程序。2)每个领域团队拥有并管理其数据和产品(联合数据治理)。3)每个产品团队比任何集中的团队更了解自己的数据和领域。4)更好的敏捷性。忠告如开头所述,不要相信流行语。数据网格是一个流行词还是一个非常合适的词?只有经过评估才能做出决定。我看到很多人做SOA错误,P2P错误,甚至REST和微服务错误,当然还有数据湖错误。做出明智决定的前提是看它是否适合你。原标题:DataMesh—GraduatingYourDatatoNextLevel,作者:RohitDhall链接:https://dzone.com/articles/datamesh-graduating-your-data-to-next-level
