数据质量管理培训课件.ppt

《数据质量管理培训课件.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、数据质量管理目标一：安全访问安全存储安全目标二：正确数据精确数据正确目标三：效率常规加载的效率非常规加载的效率数据管理的目标数据管理数据管理的难点与重点2数据质量控制方法论3案例介绍4数据管理的目标1数据质量管理的难点与重点数据质量概念1数据质量的重要性2数据质量不高的主要原因3数据质量归类4数据质量示例5数据质量管理方法6数据本身的数据质量数据的真实性：数据必须真实准确的反映实际发生的业务。数据的完备性：数据的完备性是说数据是充分的，任何有关操作的数据都没有被遗漏。数据的自治性数据并不是孤立存在的，数据之间往往存在着各种各样的约束，这种约束描述了数据的关联关系。数据必须能够满足这种

2、数据之间的关联关系，而不能够相互矛盾。数据质量概念数据的真实性、完备性、自洽性是数据本身应具有的属性，称为数据的绝对质量，是保证数据质量的基础。除了数据的绝对质量外，还有我们在利用和存贮数据的过程中所产生的数据质量，包括使用质量、存贮质量和传输质量，称之为过程质量。数据的过程质量数据的使用质量：数据的使用质量是指数据被正确的使用。再正确的数据，如果被错误的使用，就不可能得出正确的结论。数据的存贮质量：指数据被安全的存贮在适当的介质上。所谓安全是指采用了适当的方案和技术来抵制外来的因素，使数据免受破坏，备份是我们常使用的技术，如异地备份和双机备份等，所谓存贮在适当的介质上是指当需要数据

3、的时候能及时方便的取出。数据的传输质量：数据的传输质量是指数据在传输过程中的效率和正确性。在现代信息社会中，数据在异地之间的传输越来越多，保证传输过程中的高效率和正确性非常重要。数据质量概念关系建设系统成败很多数据仓库应用程度不高或最后失败，归根结底都是数据质量不高造成的。数据质量好坏关系到结果与预期是否一致低下的数据质量往往造成开发出来的系统与用户的预期大相径庭数据质量是决策正确的保障数据信息是企业重要的战略资源，合理有效的使用正确的数据能指导企业领导作出正确的决策，提高企业的竞争力。不合理的使用不正确的数据（即差的数据质量）可导致决策的失败，正可谓差之毫厘、谬以千里。数据质量是长

4、期困扰开发的难题数据质量不高已经成为困扰此类项目的开发人员与用户的一个严重问题。数据质量重要性数据质量不高的主要原因数据质量归类数据质量示例数据质量管理方法数据管理数据管理的难点与重点2数据质量控制方法论3案例介绍4数据管理的目标1数据质量控制方法论数据源检验方法1数据源检验适用规则2数据检验方法3数据检验适用规则4数据质量检验的顺序5数据源检验方法分类检验方法检查范畴异常处理方式说明时效性时效性检验数据是否按时到达报警正确性完整性检验代码一致性记录条数检查停止ETL原则性检验数据值检查停止ETL对单字段的数值检查。不符合原则性检验时该数据一定是错误的。逻辑性检验数据值检查报警对单表

5、或多个表内字段间逻辑关系的检查数据源检验是对HDS中的源表进行的数据质量检查。数据源检验分为时效性检验和正确性检验两个大类，其中正确性检验又分为完整性检验、原则性检验、逻辑性检验。数据源检验方法时效性检验判断在约定的时间内，数据源的数据是否按时到达完整性检验HDS数据表与代码表的一致性检查HDS数据表记录数检查原则性检验HDS数据表中字段的数值是否在合法的区间内逻辑性检验单表或多个表内字段间逻辑关系的检查数据源检验适用的规则时效性检验√规则一：时效性检验适用于HDS中所有的代码表和数据表。完整性检验√规则二：包含外键字段的HDS数据表必须进行代码一致性检验。√规则三：包含日期型字段且

6、可以确定记录数范围的HDS数据表必须进行记录条数检验。原则性检验√规则四：HDS数据表中可以确定取值范围的字段必须进行原则性检验。逻辑性检验√规则五：单表或多个表内的字段具有相同的业务含义，不同的统计口径，且存在汇总关系。满足此条件时必须进行逻辑性检验。√规则六：本表的字段与其他表中的字段的业务含义、统计口径相同。满足此条件时必须进行逻辑性检验。√规则七：单表或多个表内的字段具有不同的业务含义，相同的统计口径，在业务上有逻辑公式成立。满足此条件时必须进行逻辑性检验。数据检验方法数据校验是对DDS数据库中前台应用直接使用的相关表的检验。数据校验分为时效性检验和正确性检验两个大类，其中正

7、确性检验又分为完整性检验、原则性检验、模糊性检验、逻辑性检验。分类检验方法检查范畴异常处理方式说明时效性时效性检验数据是否按时到达报警正确性完整性检验代码一致性记录条数检查停止ETL原则性检验数据值检查停止ETL对单字段的数值检查和单表内逻辑关系的检查。不符合原则性检验时该数据一定是错误的。模糊性检验数据值检查报警对单字段的数值、同比值的检查。不符合模糊性检验时只能怀疑此数据有问题。逻辑性检验数据值检查报警对不同数据源加工得到的多个表内字段间逻辑关系的检查