资源描述:
《BI架构设计与开发方法ppt课件.ppt》由会员上传分享,免费在线阅读,更多相关内容在教育资源-天天文库。
1、BI系统架构设计及开发方法1一第一部分BI系统架构设计第二部分BI系统开发方法主要内容第三部分BI系统权限控制传统BI和内存式BI:传统BI工具基于数据驱动,以瀑布开发模式建设BI系统。传统BI工具需要预先形成CUBE,交付时间在半年左右,如果需求发生变化,相关模块调整周期按月计算。通常传统BI工具模块较多,操作复杂,无法形成自服务BIIBMcognos、SAPBO、oracleBIEE、MicrosoftBI内存式BI软件区别于传统BI软件,基于业务驱动,无需预生成Cube,交付周期按周、月计算,,能够形成自服务BI系统。对于需求
2、变化,交付周期按天、周计算,相关模块调整不大。YonghongZ-Suite、tableau、QlikViewQlikview介绍QlikView是QlikTech的旗舰产品,近7年成为全球增长率最快的BI产品。2010年7月在纳斯达克上市。Gartner把它列在Leaders象限并称为MagicProduct.2009年Aberdeen年把它作为BI市场唯一的"Champion".目前QlikView引领了内存型BI产品的方向,也代表着下一代BI产品的方向。BI系统架构设计第一部分ETL架构设计方法ETL(Extract-Tran
3、sform-Load):即数据抽取(清洗)、转换、装载。多用于数据仓库技术中,目的在于将海量数据进行逻辑性梳理,去除脏数据,将杂乱的数据用一定的逻辑串联起来,形成有价值的数据信息的过程。Qlikview的ETL整个过程是在自身的脚本里面实现的Tableau需要专门的ETL工具用作配合,在数据仓库中实现的Qlikview的三层结构:1.基础数据抽取:Qlikview几乎支持所有的数据库SQL的select语句例如:销售订单抬头:SQLselectVBELNas订单号,VBTYPas订单类型Fromsapsr3.VBAKwhereman
4、dt=‘601’;STORE销售订单抬头into..销售订单抬头.qvd(qvd);Droptable销售订单抬头;注意:UNION不适用于qlikview,可以用Add或者Concatnate代替2.基础数据的逻辑处理:建立正确的数据模型。常用的关键字有join、keep、concatnate、groupby、exitscript、resident、noconcatnate等特别注意:join和keep的区别,join是在两张表做连接后合并成一张表,Keep是在两张表做左联接之后还是保持两张表的结构另外,qlikview没有提供
5、调试数据的工具,仅仅提供了调试代码是否有明显的语法错误的工具,因此,经常要借助Exitscript的这个关键字给脚本打断点,来判断数据是否有误。3.界面设计:利用第二层处理好的事实数据,装载到第三层,然后利用集合分析,聚合等手段,将数据按照需求进行汇总,并通过提供的各种图标插件将数据展示出来。合理利用透视表,垂直表,网格,柱状图,条形图,组合图饼状图,仪表盘,散点图,雷达图等工具BI系统开发方法第二部分基础数据收集业务部门提出需求后,需求分析人员根据需求,找到所需要的数据源,并且告知开发人员数据之间的逻辑关系,处理事项等维度数据整理
6、将可能用于业务分析的维度整理出来,与基础数据关联,形成能够多维划分的有效数据供业务部门决策一、ETL建模方法1.基础数据抽取2.数据逻辑处理3.数据展示层开发1.数据的抽取Qlikview可以使用多种数据库作为数据源,例如Orical,Sqlserver,mysql等,也可以用文件作为数据源,如Excel文件,TXT文本等,还可以用自身系统的数据源文件,如QVD文件,QVW文件等例如:以SAP的后台Orical作为数据源,连接数据库的语句为ODBCCONNECTTO[sapprd;DBQ=sapprd](XUserIdisHKSdA
7、ZVMBDZAHZRMAA,XPasswordiscIKcKTBNQTcIWPVOTLZEXSA);(标红的地方是对用户名和密码加密)将抽取的数据储存在自身的数据源文件中处理完后释放空间增量数据抽取letTODAY=date(Today(),'YYYYMMDD');LetYESTERDAY=date(Today()-1,'YYYYMMDD');物料凭证增量:SQLSELECTT1.MBLNRas物料凭证,T1.MJAHRAS会计年度,T1.ZEILEAS物料凭证行,T1.BWARTAS移动类型,T1.XAUTOAS自动
8、标识,T1.MATNRAS物料号,T1.WERKSAS工厂,T1.LGORTAS库位,T1.CHARGAS批次,T1.KDAUFAS销售订单号,T1.KDPOSAS销售行,T1.SHKZGAS借贷标识,T1.ERFMG