资源描述：
《中文les11_数据变换_数据仓库教学课件 中文oracle99版》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。
1、数据变换概要项目管理(方法学,保持元数据)定义DW概念&术语计划一个成功的仓库分析用户询问需求选择计算结构建模数据仓库计划仓库存贮ETT (创建数据仓库)符合企业需要支持终端用户访问管理数据仓库目标在完成此课以后,你应该能够做到以下要求:解释数据质量的重要性定义术语“变换”确定变换的一系列问题描述变换数据需要的技术列出可被用做变换数据的工具数据质量的重要性颠峰运动好莱坞快递比萨Browser:http://HollywoodX+Customers:arecorofasX+Customers:Browser:http://HollywoodBrowser:http://HollywoodX+数
2、据质量的好处数据必须清洗是为了:选准客户确定购买模式辨认客户的性质:私有和商务匹配客户辨认历史数据脏数据必须被移除标准定义一个质量策略.决定一个最优的数据质量级别.质量改进考虑操作数据的修改规则记录数据来源建造一个数据管理工作程序仔细设计清洗过程初始清理和刷新程序可能不同指导方针操作数据不应该被直接地在数据仓库中使用操作数据每次增量后必须清洗操作数据不是通过修改应用程序而简单的被确定解决方法常规COBOL,4GL专业工具定制的变换过程业务专家调查条件标准化集成化管理粗糙的数据质量拥有承担责任解决问题数据质量管理员变换变换避免了操作数据所带来的异常现象清洗标准化显示面向主题数据提取变换操作系统
3、仓库整理合并重组数据中转区输送(装载)源数据的不一致无唯一键数据命名和编码不一致组之间数据不一致拼写和文本矛盾90328575OracleCorp100NE1stStreet,Tampa90328575Oracle100NE.FirstSt.,Tampa90238475OracleServices100NorthEast1stSt.,FLA90233479OracleLimited100N.E.1stSt.90233489OracleComputing15MainRoad,Ft.Lauderdale90234889OracleCorp.UK15MainRoad,Ft.Lauderdale,F
4、LA90345672OracleCorpUKLtd181NorthStreet,KeyWest,FLA客户号名称地址变换的顺序清洗数据排除不一致添加元素合并数据集成数据装载之前转换数据变换数据:问题和解决方法复合主键城市代码销售范围产品号码推销员代码产品代码=12M65431345Iffieldnotin(‘m’,1,’male’)then…elseiffieldisNULLthen…变换数据复合编码必须找出错误数据m,f1,0male,femalem,fm,fmle,female1,NULL变换数据多个局部标准使用工具或过滤器预先处理cminchescmDD/MM/YYMM/DD/YYDD
5、-Mon-YY1,000GBPFF9,990USD600多文件问题多个源文件增加了复杂度从简单做起提取出的数据多个源文件利用逻辑查出正确来源从多个源文件中转换数据文件文件文件文件文件文件文件文件文件值丢失问题解决方法忽略等待标记行抽取有时间戳的数据IfNULLthen field=‘A’A多重值的问题解决方法SQL自连接技术利用RDMBS约束机制ACMEIncACMEIncACMEIncACMEIncSELECT…FROMtable_a,table_bWHEREtable_a.key(+)=table_b.keyUNIONSELECT…FROMtable_a,table_bWHEREtabl
6、e_a.key=table_b.key(+)解决方法CTASSQL*Loader（createtableas）元素命名问题用户Browser:http://HollywoodX+Customers:arecorofasX+Customers:Browser:http://HollywoodBrowser:http://HollywoodX+12345.0012780.002345787.0087877.985678.00100%110%230%200%-10%ABCCOGMBHLTDGBUKINCFFRASSOCMCDCO用户客户联系人名称元素的语义问题客户名字所有客户详情除名字以外所有详情
7、arecorofasX+Customers:Browser:http://Hollywood客户详情避免理解错误复杂的解决方案元数据中的文档语义输入的格式问题ASCIIEBCDIC12373“123-73”ACMECo.áøåëéíäáàéíBeer(Packof8)参考完整性的问题解决方法SQL反连接服务器约束专用工具Department10203040EmpNameDepartment1099Smith1
