NC63全产品培训-商业分析与数据处理平台.pptx

《NC63全产品培训-商业分析与数据处理平台.pptx》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、用友软件股份有限公司姓名张娜2013年10月23日多级集团管控·全产业链协同·动态企业建模·大企业云平台NC63全产品培训—商业分析与数据处理课程目标与要求课程目标学习要求产品架构及功能概述产品解决方案V6.3新增功能及重点改进练习与思考题课程目标1、了解AE与BQ之间的关系，及AE整体框架2、可以完成实时数据集成（RDI）的整体配置3、可以使用查询数据集成（QDI）完成简单的ETL处理过程4、可以使用语义模型进行建模5、可以使用主题分析进行建模学习要求1、为保证学习效果，如需学习本课程，需先了解商业分析基本概念课程目标与要求分析型数据库实时数据集成（RDI）查询数据集成（

2、QDI）语义模型分析主题AE数据处理架构产品架构及功能概述商业分析平台架构AE与BQ的关系AE架构展现层业务层查询分析层透视表透视图仪表板……BCM人力供应链财务……数据处理层SQL优化SMARTOLAP分析型DBRDIQDI实时数据集成（RDI）查询数据集成（QDI）语义模型分析主题分析型数据库AE数据处理架构产品解决方案分析型数据库—列式存储好在哪儿？存取快！！省存储！！分析型数据库—行列存储IO对比行存储结构IO读取方式:•数据是按数据块读取•数据块中每行数据包含表的所有列•尽管查询只访问表中3个列，但所有100列都需要从磁盘读出•表列数越多，行存I/O效率就越低，性

3、能越差列存储IO技术:•表的每一列物理上分开存储•每一列是以数据包(DC)为单位组织的•只有访问查询所涉及的列产生IO•查询没有涉及的列不需要访问，不产生IO•表列数越多，列存I/O效率越高，越有性能优势行式数据库c5c4c3c2c1…c9c8c7c6r1r2r3r4r5列式数据库c5c4c3c2c1…c9c8c7c6r1r2r3r4r5行式数据库IO的有效数据1%-10%列式数据库IO的有效数据30%-90%表中的所有列自动建立索引，无需用户手去建立和维护智能索引与传统索引的比较索引本身占空间很少，扩展性很好，建立索引后无膨胀建立索引的速度快自适应压缩技术存储空间磁盘IO

4、CacheIO降低数据加载查询性能提升数值类型压缩示图能够按照数据类型和数据分布规律，自动选择最优压缩算法压缩比可以达到1:10到1:40压缩和解压过程对用户都是透明的银行案例—银行征信中心测试内容GBase和产品O的对比测试均部署在x86构架的硬件平台上测试现实业务场景下的数据加载、复杂查询等性能。GBase8a产品O加载1.221.92（9.03）查询分析3.666.06数据处理4.537.43总计9.4115.41提升14%测试结果银行案例—某农商行测试目标功能方面：检验GBase8a满足某农商行绩效考核系统功能的适用性。性能方面：通过执行典型的应用业务，验证产品是否

5、能够满足客户业务方面的性能需求。测试内容数据加载性能、存储过程性能测试、即席查询性能测试。测试内容时间（秒）GBase8a产品D数据加载7892723存储过程执行17042178即席查询1771152总计26706053测试结果对比测试场景分析应用功能操作表记录数量级销售产品年销售对比分析分析打开、维度穿透、维度钻取2千万、5千万、1亿客户排名分析分析打开、维度穿透、维度钻取2千万、5千万、1亿畅销产品价值客户分析分析打开、维度穿透、维度钻取2千万、5千万、1亿销售年增长分析分析打开、维度穿透、维度钻取2千万、5千万、1亿部门绩效分析分析打开、维度穿透、维度钻取2千万、5千

6、万、1亿畅销产品销售时间序列分析分析打开、维度穿透、维度钻取2千万、5千万、1亿对比测试结果列存擅长分析场景列存非擅长分析场景列存与行存存储空间比测试结果：1、在分析响应时间方面，GBase在其擅长的分析场景，GBase响应速度比Oracle快2~3倍，非擅长分析场景响应速度比Oracle稍快或接近2、在耗费存储空间方面，GBase发挥出了列存高压缩比的优势，Oracle占用存储空间比GBase高5倍左右列存数据库—小结I/O快高压缩比智能索引解决报表效率问题作为分析数据库查询数据集成（QDI）语义模型分析主题实时数据集成（RDI）AE数据处理架构分析型数据库实时数据集成（

7、RDI）基于数据库日志的增量数据捕捉，不影响生产系统性能基于用友消息中间件的转发，确保传输数据的安全可靠交易型数据源分析型DBDWODSQDIRDIDW业务报表分析报表完成源端数据库与目标端数据库的实时数据同步RDI应用场景根据需求，设定同步时间间隔，将业务库的数据实时的同步到分析库，做实时的业务分析，例如销售报表等数据集成，即ETL过程可以直接用RDI同步过来的业务数据，而不需要再通过调度任务，去定时去抽取业务库的数据RDI设置流程DB配置oracleDBA身份登录创建RDI用户授权RDI用户登录创建表和过程DB