简介：分层体系结构在各种书籍和文档中易于理解，但是将建模方法和分层体系结构放在一起会有很多混乱。从数据研究，开发和建模的角度来看，我将进化设计原因和分层体系结构的含义。
在各种书籍和文档中，分层体系结构易于理解，但是将建模方法和分层体系结构放在一起会带来很多混乱。
有分层体系结构的主要原因是将复杂且冗长的数据吹入过程分为某些层次，以便将复杂性分解为一些相对简单且小的模块。因此，每个层如何在分层体系结构中产生，我们可以简化它。
第一个数据处理任务
我想执行第一个数据处理任务，并且没有平台级别。我只有一个MaxCompute。我该怎么办？
在第一步中，我需要自己进行数据集成，并将源系统的数据集成到MaxCompute。
在第二步中，我需要合并ODS层的增量量，以便获得与业务系统相同的表结构和全部数据。
第三步是，由于我对业务系统的数据表关联有了解，因此我可以根据业务需要使用完整的ODS关联来处理所需的数据结果。
第一个数据应用程序
如果我不仅要满足业务需求，我有很多业务需求，因此我建立了第一个数据应用程序。全ODS表可以在多种业务场景中重复使用。
但是，请考虑一下，如果不是一个人的发展，那么您必须在团队内部协调并分配工作的工作。可以将整合和合并分为某些人，然后分配后来的业务需求开发在该人的另一部分。这避免了重复的工作和专业精神，从而有助于工作。
因此，您可以将第一个块“ Integration”（STG）和第二个块“完整SIT”（ODS）拆分。这部分是一项纯粹的技术工作，尚未涉及业务需求。实际业务需求的计算部分是我们的应用程序级营销（ADM）。
第二个数据应用
随着第二个数据应用程序的出现，它非常不适合每个集成合并，因此有一个独立的STG和ODS层。
很多时候，您可以在完成OD.和从数据处理技术的开发开始后进行业务数据处理，并且数据仓库的概念之前存在，并且仍然很普遍。市场依赖OD的指标将逐渐受到批评，并且不一致的指标的主要原因是反复处理的。不同的人很难通过理解同一业务来保护一致性，更不用说适用不同部门了。对于这个问题，您，您可以遇到各种大型企业的早期数据方案。因此，当Ali宣传大数据平台时，它还将提及早期各个业务部门数据口径不一致的问题。在ODS的水平上，无法解决此问题。有必要独立建立一个团队来完成公共数据的这一部分，并允许每个应用程序市场制作自己的独立零件。这也是公共场（CDM）的起源。
通过上述内容，我们终于知道了为什么应该分层数据处理过程。那么数据建模应该如何？因为在数据仓库的领域，在数据建模中总是有两种竞争视图，即Paradigm建模或维度建模。在当前大数据的场景中，我们通常只提及一种方法，即维度建模。
尺寸建模的经典方法没有中间层的概念和教程中主题域的概念。模型建模通常用于数据集的市场视图，即ODS+ADM方案。每个业务都通过一致性维度实现企业 - 级别的数据一致性。在一些重要行业中，金融公司将建立大型企业 - 级别的维度，以使市场向市场提供公共数据服务，这是公共层。由于范式模型使实体相对狭窄，并且是与实际的分析业务需求太大（尺寸模型）太大了，因此您需要制作一层（具有广泛相对范式的较宽表，这也是宽表语句的来源）才能执行此操作））做到这一点）做到）。
然后问题来了。我们所有使用尺寸模型建模，如何使用范式模型的体系结构和概念。这也是分层体系结构设计中最困难的问题，这就是为什么我们在项目中真正做到这一点很尴尬：缺乏。理论和实践支持。
维度模型的构建受实际业务需求的指导，并且该模型以恒定的需求积累以适应快速业务的变化。维度模型不是企业级别思维设计的模型设计方法，从一开始，因此，我认为维度模型的结构不适合一开始太重的公共级别。计算多个应用市场以实现全球一致性维度和一致的事实。由于维度建模的构建不仅是通过一夜之间实现的，还需要多次处理，并且在多次数据处理之后，以最终成为满足业务需求的结果许多不同的应用市场有很多共同的处理需求，这是我们P的建模需求在公共层的维度中建模这些共同需求的方法的实现是建立公共层的合理方法，而不是为特定业务场景构建索引标签（即，尽管指标的计算计算标签实际上是由指标和标签制成的，但我只是一个中间处理过程）。
接下来，我们继续使用上述层来解释公众与市场之间的关系。
第一个申请
当出现第一个应用程序时，可以根据需求的一部分来构建第一个公共级别。在中等大小的应用程序市场中，通用处理需求很明显。1。数据清洁。清洁表的数据后，将使用此清洁表。多个数据处理任务将使用。这是对共同处理的最简单理解。第二，多个表是关联的。多个表的关联也可以在多个数据处理任务中进行完善。一次，需要一起使用的字段与新表相关联，然后可以直接与此新表直接使用后续任务3。从详细信息到摘要，根据多个共同条件统一汇总，生成新表，然后可以直接与此新表直接使用。相固定维度是维度建模最关键的部分，这直接影响每个应用程序市场的数据标准和一致性问题。这是公共场所最重要的工作。
第二个应用程序
随着应用程序的增加，需求不断扩大，并且有更多与临时部门和镜像层集成的桌子。在多个应用程序市场的通用数据要求中，公共楼层的详细信息和摘要也将扩展和补充。随着时间的流逝，公共层逻辑的正确性和宣传也需要考虑多个应用程序输入后。
公共层和应用关系
通过以上两个步骤，我们已经看到了公众与应用程序层之间的关系，这不是一个。应用程序层是处理数据处理以满足业务需求。不同的重点是，应用层只需要关注自己部门的最终业务目标，公共层面需要考虑考虑的总体一致性和资源经济企业级别。
公共层与应用层之间的关系是后勤部队与前方战斗力之间的关系。一个是负责基本材料准备工作的负责，另一个负责使用这些输出来投资真正的战场。公共层是有效的数据重用和全面的资源成本，应用程序层是实际的业务需求。最终业务模型在应用程序层中具有完整的目标业务方案。在公共层面上，该模型是多种方案业务需求的组合，代表了平台最基本，最常见的模型。
从级别的角度来看，公共场所是整体。它负责与上游多个交易业务系统对接。相应的市场屏蔽了上游变化的影响，因此应用层只能注意使用公共层模型来解决解决方案您的业务需求。
原始链接
本文是阿里巴巴云的原始内容，未经许可就无法重印。
原始：https：//juejin.cn/post/7096348741719834661