元数据,简单的定义就是描述数据的数据。在企业中,哪里有数据,哪里就有相应的元数据。只有完整准确的元数据存在,我们才能更好地理解和充分利用数据的价值。为了让大家更好的理解什么是元数据,TaskCtl小编将针对元数据的种类来举例说明什么是元数据。元数据分类元数据管理的范围将涵盖数据生成、数据存储、数据处理和呈现等各个环节的数据描述信息,帮助用户了解数据的来龙去脉、关系和相关属性。根据描述对象的不同,元数据可以分为技术元数据、业务元数据和管理元数据三种类型。这三类元数据的具体描述如下:技术元数据技术元数据是数据系统中描述技术领域的概念、关系和规则的数据,主要包括对数据结构和数据处理的描述,涵盖数据源接口、数据仓库和数据集市存储、ETL、OLAP、数据封装、前端展示等所有数据处理环节;业务员数据业务元数据是数据系统中描述与业务领域相关的概念、关系和规则的数据,主要包括业务术语、信息分类、指标定义、业务规则等信息;管理元数据管理元数据是数据系统中描述管理领域的概念、关系和规则的数据,主要包括人员角色、工作职责和管理流程等信息。元数据管理的范围元数据管理的范围不应仅限于企业数据仓库、数据集市、管理分类应用的数据,还应包括企业业务系统的元数据,统一管理。源将元数据作为数据的完整生命周期管理进行管理。元数据应用数据图数据图展示是将数据系统中的各种数据实体和数据处理元数据以拓扑图的形式进行层次化的图形化展示,通过不同层次的图形进行粒度控制,以满足开发、运营的需要图形化维度或业务不同应用场景的查询和辅助分析需求。元数据分析LineageanalysisLineageanalysis(又称沿袭分析)是指从某个实体出发,将其处理过程追溯到数据系统的数据源接口。对于不同类型的实体,可能涉及不同类型的转换过程。比如对于底层的仓库实体,涉及到ETL流程;对于仓库汇总表,可能同时涉及ETL过程和仓库汇总过程;对于指标,除了上述处理过程外,还涉及到指标生成的处理过程。数据源接口实体由源系统提供,作为数据系统的数据输入,其他数据实体经过一种或多种不同类型的处理。血脉分析提供了这样的功能,让用户可以根据自己的需要了解不同的处理过程,每个处理过程具体是做什么的,需要什么样的输入,产生什么样的输出。影响分析影响分析是指从某个实体出发,寻找流程实体或依赖于该实体的其他实体。如果需要,可以递归地找到所有依赖的流程实体或其他实体。该功能支持在某些实体发生变化或需要修改时评估实体的影响范围。Entityassociationanalysis实体关联分析是从与一个实体关联的其他实体及其参与的处理过程的角度来看待特定数据的使用,并形成涉及的实体和处理过程的网络,从而进一步了解该实体的重要性。该功能可用于支持需求变更影响评估的应用。实体差异分析实体差异分析是检查元数据的不同实体,并以图形和表格的形式展示它们之间的差异,包括名称、属性和数据沿袭以及数据系统中有很多相似的实体,例如差异对系统其他部分的影响。这些实体(如数据表)可能只是名称或属性上的细微差别,甚至有些属性名称相同但在不同的应用中。由于种种原因,这些细小的差异直接影响了数据的统计结果,数据系统需要清楚地了解这些差异。该功能有助于进一步统一统计口径,评估相似实体之间的差异。指标一致性分析指标一致性分析是指将两个指标的数据流图以图形化的方式进行分析比较,看指标计算过程是否一致。.该功能是指标血缘关系分析的具体应用。指标一致性分析可以帮助用户清楚地了解待比较的两个指标的业务分析数据流图各阶段涉及的数据对象和转换关系是否一致,帮助用户更好地了解指标的来龙去脉,清楚地了解同名指标在不同部门的分布差异,从而增加用户对指标值的信任度。辅助应用优化元数据提供了对数据系统数据、数据处理过程、数据之间关系的准确描述。利用血缘关系分析、影响分析、实体关联分析等元数据分析功能,识别与系统应用相关的技术资源,结合应用生命周期管理流程,协助数据系统的应用优化。协助对企业数据平台存储的数据及提供的各类分析应用进行安全管理,涉及公司运营中的各类敏感信息。因此,在数据系统建设过程中,必须采用完善的安全管理机制和措施,确保系统的数据安全。数据系统安全管理模块负责数据系统的数据敏感性、客户隐私信息和各环节的审计日志记录管理,有效监控数据系统的数据访问和功能使用。为实现数据系统对敏感数据和客户隐私信息的访问控制,进一步实现权限细化,安全管理模块应基于元数据,元数据管理模块应提供敏感数据定义和客户隐私信息定义,协助安全管理模块完成相关的安全控制操作。基于元数据的开发管理数据系统项目开发的主要环节包括:需求分析、设计、开发、测试和上线。开发管理应用可以提供相应的功能,对上述环节的工作流、相关资源、规则约束、输入输出信息等提供管理和支持。哪种方法更适合调度元数据条目?通常,开源调度工具原生支持编辑表单(如xxl-job)或仅xml文本(如ozzie、azkaban)的调度元信息。传统的商业调度软件(如control-m)是为支持海量调度作业而设计的。使用模板化的excel文档进行批量编辑,然后导入到排程系统中。TASKCTL除了支持(传统图形化拖拽作业节点)+(作业属性形式)、(模板化excel批量编辑)外,还支持(高级xml代码IDE编辑器)实现海量作业设计。小结以上简单介绍了元信息,并通过实例说明了如何使用元信息;我希望把元数据的核心目的解释清楚。如果您有兴趣或有疑问,欢迎您给我留言+分享和讨论。我们将选出10人在评论区留言并私信我分享文章链接的20位小伙伴截图,赠你1年永久免费使用软件taskctl6.0官方授权方式:
