• 微信公众号:美女很有趣。 工作之余,放松一下,关注即送10G+美女照片!

元数据管理

开发技术 开发技术 2周前 (04-08) 6次浏览

为什么要元数据管理 

  1. 数据的参考框架
  2. 解决数据模糊性
  3. 可视化数据流动
  4. 影响和血缘分析
  5. 推进标准化建设
  6. 规范化数据审计

 普通应用系统为什么不需要元数据管理?

  • 表的数量少
  • 数据加工简单
  • 数据来源单一
  • 访问方式单一
  • 交钥匙的应用   

 数据仓库为什么必须元数据管理?

  • 上下游系统多
  • 变更频繁
  • 数据加工复杂
  • 用户访问方式复杂
  • 维护周期长

比如:

某银行的DW数据举例:上游系统60个,下游系统20多个,仓库内部的表12000多个,运行的ETL任务6000多个,每个月都有新版本上线

数据质量问题成因鱼骨图分析

元数据管理

元数据管理的建设目标

  • 建立数据仓库系统元模型,规范数据处理过程的结构化描述,实现不同来源数据的元数据统一维护管理
  • 实现数据仓库系统各层之间元数据定义与互通,促进数据处理过程规范化
  • 实现数据抽取、加载、加工、调度的元数据管理,扩充元数据服务接口
  • 提供完善的元数据管理维护机制,适应各业务系统频繁改造
  • 元数据管理为数据质量管理提供基础支撑,促进数据质量标准管理

元数据管理的范围

技术元数据

  • 描述系统中技术领域相关概念、关系和规则的数据,主要包括对数据结构、数据处理方面的特征描述,覆盖系统数据源接口、数据仓库与数据集市存储、ETL、OLAP、数据封装和前端展现等全部数据处理环节

业务元数据

  • 描述系统中业务领域相关概念、关系和规则的数据,主要包括业务术语、信息分类、指标定义和业务规则等信息

管理元数据

  • 描述系统中管理领域相关概念、关系和规则的数据,主要包括人员角色、岗位职责和管理流程等信息

 元数据管理

 


程序员灯塔
转载请注明原文链接:元数据管理
喜欢 (0)