资源描述:
《数据治理中的数据质量和元数据管理重要性》由会员上传分享,免费在线阅读,更多相关内容在行业资料-天天文库。
1、数据治理中的数据质量和元数据管理重要性刘春霞资深工程师议程•数据治理中的数据质量和元数据数据质量重要性元数据管理重要性IBM解决方案(InformationServer)•数据质量和元数据管理–工具业务术语表(BusinessGlossary)洞察数据(InformationAnalyzer)规范开发(Fasttrack)清洗/转换数据(QualityStage/DataStage)元数据工作台(MetadataWorkbench)议程•数据治理中的数据质量和元数据数据质量重要性元数据管
2、理重要性IBM解决方案(InformationServer)•数据质量和元数据管理–工具业务术语表(BusinessGlossary)洞察数据(InformationAnalyzer)规范开发(Fasttrack)清洗/转换数据(QualityStage/DataStage)元数据工作台(MetadataWorkbench)日新月异信息架构动态提供整合的信息相互没有关联的信息孤岛People,Processes,ApplicationsRichStandards,IntegratedInform
3、ationPlatformFlexibleArchitectureRepositories,Applications70%ofpeople’stime60%+ofCEOssaythey5XMoreValuecreationcanbespentfindingneedtodoabetterjobbyorganizationseffectiveatrelevantinformationleveraginginformationusinginformationSources:IBMAttributes&Capabi
4、litiesStudy,2005;ClientInterviews2004;IBMCFOStudy,2006数据治理中遇到的问题数据不完整数据不一致关键ID缺少,或者数据数据相关联业务系统明显位数不符;不完整不一致数据不同步;部分辅助信息的代不同系统之间描码不规范很多是文本述同一业务问题描述;的数据定义存在历史数据保留期限差异。不一致。数据质量表现数据逻辑错误数据冗余数据逻数据违反业务规则辑错误冗余重复数据记录违反业务代码定义非法键值数据治理中遇到的问题””我们常常很难理解”我们常常很难理
5、解““我们的数据不能满足业“我们的数据不能满足业““经常花费数小时甚至“经常花费数小时甚至业务需求,,,因为,因为ITIT使IT使务需求.”几天找到我需要的信息”用的定义同业务不一致致.”致.”数据架构师主题专家业务分析人员数据管家数据分析人员““是否存在数据“是否存在数据风险??我能否审?我能否审““我们有很多信息“我们有很多信息,,,但是我,但是我计信息来源?”项目执行者不知道哪些数据是可靠的,,,能用来做决策的...”.”““因为缺乏有效的沟通“因为缺乏有效的沟通,,,项目常常超出预算”危害无效和重复
6、性工83%数据集成项目作增加运作成本需要重复实施甚至失败消费者缺乏信心痛失商机错误或不完整数据导致BI和CRM系统不能正常发挥优势甚至失效低劣数据质量严重地降低公司年收入25%时间浪费在辨别数据是否“坏数据”无法预测商机而造成损失,比事后弥补将多达10~100倍数据治理需求业务需求元数据需求可信赖信息端到端数据连线更好地理解信息表述数据所反映的业务内涵易于查询丰富的信息类别和揭示一对多相互关系更好地有助于数据管治风险分析和变更管理业务和IT共同协作业务和技术用户共享元数据库高效与完善的数
7、据质量实施和管理体系DataProfileDataCleanDataVerify•Foundationtoanysuccessbusinessprojects•DCruleswillbestoredinMDR•SetupDatasourceviewbyfederation•SourceSystemanalysis•DCruleswillbeimplementinETL•AutogenerateverifySPwithMDR•AuditableDataQuality•DCresultwillberecord•
8、VerifyresultwillbestorewithMDR数据质量管理平台业务用户主题专家架构师数据分析师开发人员DBAsIBMInformationServerInformationServicesDirector为整合信息和访问发布SOA服务归档业务术语&连接到异构信息的虚拟化访问数据源标准化、合并和纠正信息组合和重构信息以用于新的用途分析&理解源数据MetadataServer/MetadataWorkb