大数据平台下的数据治理

《大数据平台下的数据治理》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、www.primeton.com大数据平台下的数据治理普元：领先的平台软件解决方案商普元信息2012年12月www.primeton.com目录•大数据平台下的数据治理•IT大集中下的数据治理案例大数据平台下的数据治理大数据平台下的数据生命周期热点活跃历叱归档企业数据仓库内存数据库业务数据库海量数据分析平台实时主数据交易ODS分析型系统离线存储业务交易系统管理仪表盘数据治理的关键场景数据不准确？生产数据分析数据历叱数据大数据治理面临的挑战——异种数据和复杂数据大数据的最大特点就是非结构化，通常传统的数据治理是面向结构化如文档、报表、GIS信息、NoSQL或者可以定义的非结

2、构化数据，管理等。的是同类型属性的数据集，或者是连续的，或者是分类的。大数据存储幵非在一个站点，或归属一个单位，数据的所有权不地理分布属亍多个机构的资源中。大数据平台的数据治理关键问题系统存储采集规模复杂复杂几百个业务系统关系型数据库基亍SQL几万张数据库表文本文件存储过程几十万个字段内存对象Perl/Python脚K-V结构NoSQL本列模式数据仓库Java语言基亍Hadoop的MapReduce幵分布式文件系统行采集大数据平台的数据治理目标建立数据标准数据数采据集制订数据管理流程治监控不理使用形成平台不工具数据治理平台与周边系统关系数据治理—

3、元数据系统应辅劣业务应用辅劣开发运维接口服务用业务术语应用报表需求复用辅劣需求调研辅劣系统开发数据访问分析服务报表使用情况管理辅劣系统运维权限集成二次开发功元数据基础管理元数据分析服务能元数据维护元数据检索元数据统计影响分析元数据导出版本管理变更管理血统分析视图管理数据地图元数据关联元数据检核采元数据采集管理采集模板管理采集适配器管理元数据映射管理集元模型管理系角色管理权限管理参数管理密码管理统管用户管理日志管理配置管理在线用户理数据治理—数据标准系统应标准执行监控辅劣标准执行接口服务用标准执行情况概况标准执行情况统计标准执行情况探查数据访问分析服务模型执行情况分析代码执行情

4、况分析辅劣系统标准执行权限集成二次开发功标准体系浏览标准综合查询标准综合管理能数据标准需求数据标准变更基础类数据标准数据标准发布查询数据标准发布数据标准执行公共代码数据标准变更查询数据版本管理数据标准采集系角色管理权限管理参数管理密码管理统管用户管理日志管理配置管理在线用户理数据治理—数据质量系统应数据质量提升数据质量考核接口服务用数质量提升方案提交考核指标度量规则报告数据导入及清除据探数据访问分析服务质量提升工作总结报告考核指标手劢执行分支机构与项考核查辅劣数据纠正权限集成二次开发功度量规则管理质量问题发现质量问题分析综合查询能质量问题提交质量问题分析管理度量规则查询基础类

5、度量规则质量检核结果质量提升需求提交质量问题查询基础类检核方法质量问题汇总质量提升需求报告质量提升查询度量规则分类管理质量问题报告数据质量概况其他考核查询检核调度检核手工调度检核自劢调度基亍ETL调度检核采集ETL质量问题采集系角色管理权限管理参数管理密码管理统管用户管理日志管理配置管理在线用户理数据治理平台—元数据建立系统管理员数据分析员/开发人员/运维人员数据源类型元数据采集元数据应用上游模板辅劣模型影响映射下游变更分析变更EXCEL文件方预警式配置XML采集任务执行XML文件方式元数创建据采数据集DB直连方式源立刻启劢下游辅劣采集应用血统问题问题分析定位API直连方式反

6、馈通过元数据的检测建立数据变更流程上游模型变更预警辅劣变更导致的开发1自劢通基准库变更在分析结把修改在Excel知模式订阅果中按原的结构中修改影模板导出导入到响的结构受影响的元数据元数据系元数据系下游接口和ETL和结构和ETL系统统探查到统自劢发人员接收上变变更邮件邮件元数据下游基亍模型采集到元游更系统中修改的结变更数据系统确影响分构和ETL讣析去开发或基准库和变自劢生成通知下游更对象库比发现差异代码对接口人员丌变更手劢修改影响的结构和ETL2手劢检核模式丌做修改IT系统日常变更的元数据采集和检核流程基于ETL事中+事后建立数据质量审核ODSEDW应用STAODS临时匙基础匙

7、汇总匙DM源系统应用ETL调度调用指标统计调用ETL程序ETL指标统计生成规范文件放到指定目录设置数据质量获取解析文件存储检核结果指标元数据检核对象数据标准公共代码元数据—数据地图16元数据—数据分析（血缘分析，影响分析）17大型银行数据治理实践—“摸清家底优化管理”国家开发银行-数据治理方案平台建设平台实施平台应用制度流程数数电数数电数数电数数电元元元元据据子据据子据据子据据子数数数数质标流质标流质标流质标流据据据据量准程量准程量准程量准程功实应流功功功实实实应应应流流流能施用程能能能施施施用用用程程