数据治理是企业数据建设的重要组成部分。一个好的数据治理体系可以盘活整个数据链路，最大限度地实现企业数据采集、存储、计算和使用的可控性和可追溯性。如何构建企业数据治理体系？企业数据治理过程中应该注意哪些问题？一般来说，一次吃不了一个胖子，路要一步步走。接下来，我将结合企业级数据治理的经验，详细介绍从0到1构建数据治理体系的全过程，帮助大家梳理数据治理的主要内容以及在数据治理中会遇到哪些坑。过程。1数据治理到底是做什么的1.1一个小故事写之前先介绍一个小故事。年底了，公司财务管理员小张需要对公司的财务情况进行统计。忙碌了一年，公司老板急需了解公司目前的经营状况。小张需要考虑哪些点：公司目前拥有哪些房产？这些属性从何而来？它们在哪里使用？是否所有财产都按照规范和法规使用？幸运的是，小张在年初就建立了一套管理标准。对每一笔财产的进出都有记录并严格控制使用，过程可追溯、可查。最终，小张获得了领导的一致好评。1.2故事中的小张做了什么数据治理，监管公司所有的财务财产活动，保证财产的有序高效使用。这也是数据治理角色的类似功能。数据治理的核心工作：在企业数据建设过程中，确保企业的数据资产得到正确有效的管理。一般来说，数据从外部或内部产生后，通过大数据手段进行处理，然后传输到不同的业务终端，为企业上层应用提供数据赋能。整个过程如图所示。我们先做一些类似数据同步的工作，将数据放入大数据系统，然后需要对数据进行管理和存储，即参考建模理论和实际场景搭建数据仓库。经过主题规划、维度确定、标签计算输出等步骤的数据输出到报表，应用端使用全流程数据治理体系进行全程监管。如何确认进出系统的数据质量？是否可以转换数据资产？数据沿袭是否可追溯、数据安全等问题。脏乱的数据无法使用，甚至被严重掩埋。2为什么需要数据治理？一些企业对这个问题的概念比较模糊，认为目前的数据规模很小，可以人为控制，所以暂时不需要进行数据治理。但在实际使用中，还存在很多问题：数据监管不足，数据脏污，数据体系逐渐变大，管理混乱的数据失去了血统，旧旧数据无法追溯。无论企业的数据规模如何，我认为规划数据治理仍然是一个好主意。考虑到成本问题，可以分阶段进行。为什么数据治理：你的数据真的有用吗，缺失和异常值呢？数据从哪里来，到哪里去？血缘关系信息丢失了吗？数据访问安全吗？是明文还是加密？新的数据处理应该参考什么规范，维度和标签管理有没有标准？有剑在手而不用，与没有剑在手是两回事。提前做好数据治理规划，将节省后续改造成本，避免冗余流程重构或推倒重来。数据治理可以有效保证数据建设过程在合理、高效的监管体系下进行，最终提供优质、安全、流程可追溯的业务数据。3数据治理体系企业数据治理体系包括数据质量管理、元数据管理、主数据管理、数据资产管理、数据安全、数据标准等。1）数据质量一般采用业界通用的标准来衡量数据的质量：完整性、准确性、一致性和及时性。完整性：数据的记录和信息是否完整，是否有漏例。准确性：数据汇总中记录的信息和数据是否准确，是否存在异常或错误。一致性：多个业务数据仓库之间的公共数据必须在每个数据仓库中保持一致性和时效性：数据可以及时产生并预警2）元数据管理元数据是关于数据组织、数据域和数据的信息他们的关系。通俗理解，元数据就是描述数据的数据。元数据包括技术元数据和业务元数据。它可以帮助数据分析师清楚地了解企业拥有哪些数据，存储在何处，以及如何提取、清理和维护这些数据，即数据沿袭。帮助构建业务知识体系，建立数据业务意义的可解释性，提高数据集成和溯源能力，维护血缘关系，建立数据质量审计体系，分类管理和监控3）主数据管理企业主数据是指一致的和可追溯的企业内部的共享业务实体，白话理解就是专业公司和业务系统之间共享的数据。常见的主数据，如公司员工、客户数据、组织信息、供应商信息等，这些数据具有权威性和全球性，可以归属于公司的企业资产。一般主数据管理需要遵循以下几点：管理和监督各组织、子公司、部门对主数据的访问，制定访问规范和管理原则，定期进行主数据评估，确定既定目标的完善程度.组织相关人员和机构，统一完善主数据建设，提供技术和业务流程支持，全集团统一统筹4）数据资产管理企业在数字化转型过程中，一般会考虑数据资产整理。您的数据是否被正确使用？如何产生最大价值？这是数据资产管理关心的核心工作。在构建企业资产时，一般会考虑不同的角度，即业务角度和技术角度，最终融合输出统一的数据资产分析，对外提供统一的数据资产查询服务。如何盘活数据，形成数据资产，提供完整的数据资产全景图，可以方便运营商全局、宏观地掌控企业资产动态。5）数据安全数据安全是企业数据建设的重要组成部分。我们的数据存储在大大小小的磁盘中，对外提供不同层次的查询和计算服务。需要定期检查数据，加密敏感字段，控制访问权限，以确保数据可以安全使用。6)数据标准可以用通俗易懂的语言理解。我们需要在组织内部定义一套数据规范，让我们都能理解这些数据的含义。今天张三说这个客户号是办了银行卡的客户，明天李四说这个客户号是借过钱的客户。通过比较，两者的字段类型和长度是一样的。我们应该采纳哪种意见？数据标准是确保内部和外部使用和交换数据的一致性和准确性的规范约束。通过统一标准，消除歧义。4企业数据治理实施过程4.1数据治理实施框架数据治理体系是为规范业务数据规范、数据标准、数据质量以及数据安全方面的各项管理任务和活动而建立的组织、流程和工具。通过常态化的数据治理组织，建立数据集中管理的长效机制，规范数据管控流程，提升数据质量，促进数据标准一致，保障数据共享和使用安全，从而提高企业运营效率和管理水平.4.2数据治理组织架构除了技术实现架构，企业数据治理体系在管理上还需要组织架构的支持。一般在数据治理建设初期，集团会先成立数据治理管理委员会。从上到下，由决策层、管理层和执行层组成。决策层做决策，管理层制定计划，执行层执行。分级管理，统一协调。4.2.1组织结构1)决策层提供数据标准管理的决策功能，通俗理解就是决定方案。2)管理层审议数据标准管理相关制度，讨论跨部门、疑难数据标准管理争议，决策管理重大数据标准事项，报信息技术管理委员会审议。3)执行层业务部：负责业务线数据标准的制定4.2.2管理层职责1)项目经理确定项目目标、范围和方案制定项目里程碑管理跨项目协作2)专家评审组评审项目计划，确定计划的合理性3)PMO确保项目按计划执行管理重大项目风险执行跨项目协作，沟通和组织项目重点评审3)数据治理专项组实施实施和各类项目的运营推进，在执行层面推进数据治理技术落地和项目进展。4.2.3执行层职责数据架构师、数据治理专家和业务专家组成数据治理“铁三角”，紧密合作，共同推进数据治理和数据架构的落地。1）业务专员，作为业务部门数据治理的接口人，组织业务人员开展标准、质量、应用等领域的工作，定义数据规则，保证数据质量，提出数据需求2）数据治理专家数据治理专家是数据治理团队的成员，负责设计数据架构和运营数据资产；领导业务和IT组织实现数据治理目标。构建数据逻辑模型，监控数据质量，运营数据资产3）数据架构师数据架构师作为IT开发部门的专家，承担着实施数据标准和模型的重任，协助解决数据质量问题。数据标准实施逻辑模型实施物理模型实施4.3数据治理平台在确定了技术实施方案和组织管理架构后，下一步就是实施数据治理体系。在大型企业中，一般会开发一个完整的数据治理平台，包括所有的数据治理功能，并对外提供平台服务。1）核心功能数据治理平台作为数据治理的产品体系，旨在确保数据平台上的数据安全、可靠、规范、有价值。数据资产管理：提供面向用户的场景搜索，提供全景数据资产地图，方便快捷的资产搜索和资产分析数据标准管理：统一定制数据标准，完善字段、码值、数据字典等管理，确保业务数据及中台数据统一标准数据质量监控：提供事前、事中、事后数据质量体系，支持数据质量监控规则配置、告警管理等功能数据安全：提供数据安全脱敏、安全分级监控数据建模中心：统一建模，提供业务系统建模和模型管理2）元数据管理元数据管理系统作为数据治理平台的前端展示入口，帮助实现快速检索数据资产的能力，提高效能数据使用和效率。通过建立完整一致的元数据管理策略，提供集中、统一、标准化的元数据信息访问、查询和调用功能。3）数据质量数据质量监控：支持所有用户配置数据质量监控规则。规则拦截：配置数据质量监控拦截规则。如果数据质量有差异，可以实时阻断下游作业的运行，阻断错误结果的传播。报警：数据质量出现预设偏差，及时发出预警通知，及时修复。4）数据标准支持定制统一的数据标准平台，包括字段标准管理、码值标准管理和字典管理，业务源数据和中台数据统一标准。5)数据安全实现基于集团数据资产的数据安全分级管理，自动识别安全信息；提供数据访问安全行为监控，及时识别访问风险。4.4数据治理评估数据治理平台开发运行完成后，需要对整体数据治理体系的效果进行验证和评估。1）数据能否杜绝“脏、乱、差”现象2）数据资产的价值是否最大化3）所有数据的血缘关系是否完整可追溯。..1）数据资产通过构建数据资产管理系统，实现资产全覆盖，支持目标资产的全局搜索和精准定位。实现全局搜索，为用户提供场景化检索服务支持标签、数据图、表名、字段名等多种检索维度支持数据图，过滤源业务数据字典的结果，如支持PV/UV用户搜索和资产展示，明确服务目标2）数据标准沉淀新旧数据标准，打通数据建模工具、数据标准库和根标准库，实现数据标准和根标准。实现数据标准库100%集成，智能识别数据标准，引用客户端同步更新数据标准和词干基于以上数据安全管控体系，支持数据安全分级，构建灵活的数据安全共享流程。4）数据质量通过数据质量雷达图，定期对数据和任务质量进行打分，全面考察数据质量效果。数据完整性：检查数据项信息是否全面、完整、无遗漏。报警响应：日常管理、应急响应、减少影响；避免数据损坏和丢失。监控覆盖：确保数据遵循统一的数据标准和规范要求。运行稳定性：监控作业稳定性，是否存在作业异常等问题，作业时效性：检查任务对应的数据项信息获取是否满足预期要求5数据治理的误区1）数据治理是否要大而全这是一个经典问题，一般来说，对于不同阶段、不同规模的企业，数据治理的实施程度会有所不同。一般建议根据自己的数据情况分阶段进行，避免盲目扩容，过程中可以调整。2）数据治理只是技术上的考虑。正如文中提到的，数据治理不仅仅是技术团队的事情，而是整个团队的共同努力。其中包括各种业务线和其他管理组织。没有一个好的实施计划和协调机制，往往事倍功半。3）数据治理可以在短期内有效。数据治理是一个长期过程，会随着企业数据规模和数据仓库规划的变化而同步调整。有些功能可能短期内有效，但短期内很难做到一个完整的系统。4）必须要有工具平台，才能进行数据治理。俗话说，工欲善其事必先利其器。当然，最好有好的工具。前提是你已经有了成熟的数据治理体系规划和策略。目前市场上的工具和技术手段已经很成熟了，先铺理论。5）数据治理感觉模糊？不知道最后的落地结果。数据治理是一项长期工作，需要相关从业者根据企业的数据现状和管理模式进行构建和调整。建议边做边总结。小步走和慢跑是很好的方法。
