当前位置: 首页 > 网络应用技术

参考数据和数据治理的主要数据管理

时间:2023-03-07 19:13:02 网络应用技术

  简介:最近,我碰巧参加了某个行业的商业公司创建会议。在此期间,我们讨论了主要数据系统以及如何参与主要数据系统的构建。老实说,我一直认为我将没有机会参与主数据和参考数据系统的主题,所以我再次转到达玛的书。顺便说一句,我还对主要数据和参考数据的主题进行了思考。

  最近,我碰巧参加了某个行业的商业公司创造会议。在此期间,我们讨论了主要数据系统以及如何参与主要数据系统的构建。老实说,我一直认为我将没有机会参与主数据和参考数据系统的主题,所以我再次转到达玛的书。顺便说一句,我还对主要数据和参考数据的主题进行了思考。

  1.基本定义

  Dama指南中主要数据和参考数据的基本定义如下:

  参考数据和主要数据管理是参考数据和主要数据的连续协调和维护。

  参考数据管理由定义的数据域值(也称为词汇,术语)控制,包括对标准化术语,代码值和其他唯一标识符的控制。对列表与不同列表之间的业务关系的控制;并及时控制准确性,及时和相关的参考数据值,以控制数据值用于数据分类和目录重组的使用。

  主要数据管理通过顺序序列的共识,共享和上下文来控制主要数据值,以及核心业务实体,市场及相关版本的真实情况的最准确情况。

  在这个词中,大多数人实际上看上去有些震惊。换句话说,主要数据管理是管理交易系统中各种核心活动实体的一致性(常见对象是组织,个人,产品等)组织。参考数据管理是管理交易系统。物种属性(代码或枚举价值)一致性的定义。

  2.简洁的定义

  在大坝中国数据情报管理峰会的官方网站上的一篇文章中,它描述了文章中的主要数据管理和参考数据管理。内容如下(引用本文末尾的文章的地址)。

  主要数据企业黄金数据记录

  主数据主要指企业的关键数据。

  如上图所示,我们在上面数据模型设计的“城市表”中填写了相应的城市数据,例如北京,上海,广州,Nanning等。中国地理协会组织的主要数据,因为这些数据是中国地理协会组织的关键业务实体。在此过程中重复参考。对于这些核心关键数据,组织和企业应具有最严格的数据关于数据质量,一致性,可用性和管理规范的要求。

  然后,一般而言,公司运营中涉及的以下数据,财务和物质数据最有可能包括在企业所有者数据管理类别中,例如:

  企业产品和相关信息:包括相关产品,服务,版本,价格,标准运营等。

  企业财务信息:包括业务,预算,利润,合同,财务主题等。

  企业相关的利益:例如客户,供应商,合作伙伴,竞争对手等;

  企业组织结构:例如员工,部门等;

  可以看出,主要数据是,公司通过不同的操作反复引用关键状态数据,并且需要在企业范围内高度一致。它可以随着企业的业务活动而改变,例如客户的增加,组织结构的调整以及产品的离线;但是,主要数据中变化的频率应较低。因此,企业操作过程的处理过程数据,例如各种订单记录,消费记录等,通常不包括主要数据的范围。当然,在不同的行业中,不同的企业对主要数据有不同的看法和实践。正如我们与大型国内航空公司实施相关数据项目有关的一样,它们也纠缠不清是否是主要数据。

  因此,鉴于主要数据在企业上的重要性,企业和组织需要有效地管理其主要数据:包括了解主要数据应用程序的需求,识别主要数据的来源和源主要数据的下游关系,数据的集成和发布以及数据的发布,改善了主要数据的数据质量。

  参考数据数据字典

  在本文中引用的假设中,我们会注意到有一些数据,例如省和城市,例如省和城市。如果没有环境环境,我们将无法理解其特定含义。目前,我们经常介绍参考数据以解释和理解,如红色标签所示,如下所示。

  参考数据是重要的数据,可以增加数据可读性,维护和后续应用程序。可能会记录更多参考数据,记录在开发人员和运营商的大脑中,但问题是,一旦这些人离开,系统中的数据就会成为一堆未准备好的天上书籍。

  也许您认为这个被称为的参考数据不是数据字典?是的,我们将在许多系统中拥有此类数据字典。数据岛是间接创建的。为了进行更有效的数据集成,数据共享和数据分析应用程序,企业开始尝试在企业或部门级别的级别集成和管理参考数据。参考数据。

  概括

  主要数据是真实的业务数据,它是企业的关键业务数据。

  参考数据是数据的解释。对于某些数据范围和价值的数据说明,人们易于阅读相关的数据。

  3.驱动因子

  在任何组织中,都有一些数据需要跨业务和整个系统。如果共享这些数据,所有业务部门都可以访问相同的客户列表,地理位置代码,业务不列表,交货选项,组件列表,成本会计中心代码,政府税法以及用于业务运营的其他数据,整个组织及其客户将从中受益。在看到不一致的数据后,数据用户通常会构建这些数据以在整个组织中具有一定的一致性。

  在大数据多组织中,系统和数据的变化比数据管理专业人员要快。尤其是在大型组织,各种项目和解决方案,合并和收购以及其他商业活动中导致多个系统本质上相同的系统。他们彼此之间无法交流。这些情况不可避免地会导致系统之间的数据结构和数据值之间的不一致性,从而增加成本和风险。组织可以通过管理参考数据和主要数据来降低成本和风险。

  参考数据管理和主要数据管理是专门的数据质量改进计划,依靠有效的数据管理系统和数据治理活动。

  参考数据和主要数据质量改进计划的成本和复杂性取决于业务驱动。共同业务驱动的因素是:

  a)在交叉数据源,应用和技术的条件下增加数据治理和集成。

  b)为重要的业务相关方,角色和产品提供全面的360度观点,尤其是提供更有效的报告和分析。

  参考数据和主要数据管理目标包括:

  a)确保组织在各个过程中具有完整,一致,最新和权威的参考数据和主要数据。

  b)促进企业在各个业务部门和各种应用程序系统之间共享参考数据和主要数据。

  c)通过使用标准,通用数据模型和集成模式来降低数据使用和数据集成的成本和复杂性。

  1.现实

  从理论上讲,在理论处理过程(OLTP)系统和数据仓库和商业智能系统中都有参考数据和主要数据管理。从组织中,所有在线事务处理(OLTP)系统中的所有在线事务处理(OLTP)系统都使用相同的黄金记录和数据值。实际上,在所有大型内部事务系统中都有不一致的参考数据和主要数据。这不仅需要数据仓库系统以确认最真实的记录系统,还需要确定最准确的参考数据和主要数据。数据仓库构造组成用于花费大量代码,以清除和集成不同来源的主要数据,或在数据仓库和商业智能环境中使用维度来维护主要数据和参考数据,而不是在主操作系统中维护数据库数据库。并将其复制到其他业务数据库和数据仓库。

  如上所述,理论上参考数据和主要数据管理是需要在在线事物(OLTP)系统级别进行处理和解决的问题,但实际上,当数据仓库和决策分析系统使用时,通常会花费它数据。价格已解决。

  如下所述,这是对“数据仓库”一书中数据转换和集成复杂性的描述。这些数据仓库中的一致描述并不能从根本上解决不一致的问题,而仅使用此集成平台来掩盖表面。性和质量问题。

  转换和集成的复杂性

  a)有多个输入数据源。在某些情况下,数据仓库中数据项的来源是一个文件,在其他情况下,它是另一个文件。从逻辑上讲,必须明确区分该数据,以便提供数据。在适当的数据源的正确条件下。

  b)当有多个输入文件时,应在文件合并之前执行密钥代码。这意味着如果不同的输入文件使用不同的密码结构。然后,编程程序必须提供关键代码分辨率函数。

  c)当存在多个输入文件时,这些文件的顺序可能不同甚至不兼容。在这种情况下,这些输入文件需要重新列入。,通常是这种情况。

  d)有多个输入数据源。在某些情况下,数据仓库中数据项的来源是一个文件,在其他情况下,它是另一个文件。从逻辑上讲,必须明确区分它,以便提供数据。在适当的数据源的正确条件下。

  e)当有多个输入文件时,应在文件合并之前执行密钥代码。这意味着如果不同的输入文件使用不同的密码结构。然后,编程程序必须提供关键代码分辨率函数。

  f)当有多个输入文件时,这些文件的顺序可能不同甚至不兼容。在这种情况下,这些输入文件需要重新列入。不幸的是,通常就是这种情况。

  2.水平关系

  从上一部分的引入中,可以了解到参考数据和主要数据管理是数据生成的数据生成的“ OLTP系统”和“数据仓库和业务智能系统”。“ OLTP)系统(OLTP)系统,标准化数据用于“数据仓库和业务智能系统”。

  作为数据仓库中的数据研究和开发人员,我一直认为参考数据和主要数据管理是“ OLTP)系统(OLTP)系统范围内的事物,而不是需要实现的分析系统。时间,如果服务中有参考数据和主要数据管理系统,则已经完成了参考数据和主要数据管理,这对我的“数据仓库和商业智能系统”非常有益。尽管很多时候从数据用户的角度来看,将把主要数据和参考数据的识别和标准化带到数据仓库和业务智能环境中,以解决它,我仍然希望在底部解决。

  一家以前在2008年服务的银行实施了“统一的客户管理系统”,意识到银行之间唯一对多个业务系统的识别,并确定了其余不同系统客户的返回。这是我与我联系的业务系统主要数据识别。该系统解决了银行以前的贷款,财富管理,资金和其他业务系统中客户的唯一认可。卡片是否很难将其合并或基于一个牌子作为现行。单个贷款的数据是一个历史数据,在申请贷款业务时将输入。此信息相对准确且真实,但是如果这是10年前的贷款,这些数据可能会长时间可用。信用卡的数据通常相对较新,并且更新相对频繁,但是数据质量是相对较新的。信用卡可能不好,信誉较低。这是数据仓库可以解决的问题吗?当相同的信息不一致时,无论使用哪个数据,我都猜到了。我已经看到了结果某些业务人员提供的规则。我只能说使用它,而且我不必选择(我的选择最终成为数据仓库中用户的主要数据信息)。这也是参考数据和主数据系统构建的重要性。如果从源头解决此问题,为什么如此困难。

  主要数据的问题实际上是非常广泛的。在税收领域,我们遇到了在不同地方对不同企业的识别。关于在许多地方注册的公司是否很难回答此问题的问题。在公共安全中,不同的人在许多不同的场合使用不同的文件。如何识别同一个人问题也非常具有挑战性。因此,必须在业务系统上执行主数据系统。

  3.与中国和台湾的关系

  在台湾和台湾的概念提出了Oneid概念之后,数据的整个数据治理是Ali Zhong Taiwan Chemical的革命使命。因此,我们在越来越多的项目中遇到了参考数据和主要数据管理。

  当涉及ALI的主要数据管理时,肯定会提到OneID的概念。ALIONEID是一组个人识别同一用户对同一用户识别的同一用户识别的个人识别。如果它与主要数据管理系统中的“匹配规则”的概念相对应。是要匹配,合并和连接多个系统中一个人,组和事物的数据。实际业务需求而不是主要数据管理系统提出的治理。范围是传统主要数据管理的“客户数据”。第二,OneID的实施使用数据仓库,机器学习和算法规则。相对于交易规则,这是一个更复杂的规则算法。)共享的相对较弱的规则。

  从数据中数据分割的角度,数据管理中数据管理中主要数据和参考数据管理领域的划分仍在业务中。这不是我的日常工作范围。提出了业务概念后,提出了商业中心的概念。商业系统的集中设计,例如“用户中心”,“产品中心”和“参数中心” CAN从根本上解决了主要数据的企业级别标准化问题。

  但是从实施的角度来看,只有少数大型企业才能重建所有整体业务系统?其中大多数是逐渐和转型的。此外,许多大型公司都有许多收购和相关公司,这些公司难以涵盖全面的控制。因此,主要的数据管理和参考数据管理仍然是我们面前大型企业的核心数据治理工作。这只有我们是否可以利用更多的技术进度来改善我们的实施方法和治理的影响。

  从另一个角度来看,数据仓库或数据所面临的数据集成问题实际上是主要数据和参考数据的问题。我们已经在数据仓库中构建了全局一致的业务模型,实现了Taichung的主要数据和参考数据识别。数据仓库级别中的数据仓库级别,并通过下游数据市场发布了数据仓库的主要数据和参考数据向下游数据市场。EssenceMany参考数据和主要数据系统本身具有数据模型管理,数据收集,实体分析,数据分享和其他工作。实际上,很多时候他们还使用数据仓库平台来实现(或您自己构建一个小型数据平台)。但是从最终服务对象的角度来看,服务系统是主要数据和参考数据管理系统。

  我观看了两个传统的MDM系统供应商,Stibo Systems和IBM。判断MDM Systems的判断,Stibo Systems似乎在行业能力方面更具领先地位。乍一看,引入的引入是乍一看可以参与多个领域的能力。IBM似乎更多地关注宣传功能。自我服务访问,更深入的见解,同意管理以及使用直观的仪表板来积极管理数据。总的来说,从交付的角度来看,登陆该系统的困难将非常具有挑战性。它需要非常厚的行业降水,需要连续协调以促进这一数据治理活动。我一直记得一位负责数据治理的同事坐在我对面。看来一年是几张代码表,我不知道她是否完成了。必须考虑一次解决问题,以便做事。

  1.什么是数据,元数据,主要数据和参考数据?

  https://blog.csdn.net/weixin_52346300/article/details/116022202

  2.一张图片读取元数据,主要数据和参考数据

  https://www.dams.org.cn/news-4-31-1.html

  3. Dama知识系统解释(8)参考数据和主要数据管理

  https://zhuanlan.zhihu.com/p/194324250

  4.数据中哪种幽灵是什么样的幽灵,主要数据不是很香吗?

  https://blog.csdn.net/beiisbei/article/details/1215066755

  5.主数据管理基础

  https://zhuanlan.zhihu.com/p/31039623

  6.主要数据管理

  https://wiki.mbalib.com/wiki/%E4%B8%BBBB%E6%9%B0%E6%8D%AE7%AAE7%90%86

  7.“数据仓库”(原始中文4)

  第3章 - 设计数据仓库的复杂性3.10转换和集成

  8.“达马数据管理知识系统指南”

  第8章参考数据和主要数据管理

  9. Stibo系统

  https://www.stibosystems.com/zh-cn/solution/multidomain-mdm

  10. IBM

  https://www.ibm.com/cn-zh/analytics/master-data-management

  原始链接

  本文是阿里巴巴云的原始内容,未经许可就无法重印。

  原始:https://juejin.cn/post/7096357850175242271