ibm watson 如何选择硬件平台实现商业智能数据仓库

《ibm watson 如何选择硬件平台实现商业智能数据仓库》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、如何选择硬件平台实现商业智能数据仓库如何选择硬件平台实现商业智能数据仓库袁丁，SeniorITSpecialistSTG,GCG数据仓库应用的特点和资源需求•特点–SQL批处理多–动态查询多–增删改几条记录的事务型少–单次查询访问的数据量大•对计算资源的需求–无法把所有数据放到内存–对数据的存取时间（IO带宽）是系统总体性能的决定性因素DB2DPF架构数据仓库应用要求平衡的硬件平台架构，其中IO性能优化是比较关键的。SmartAnalyticsSystemSchematic前端报表ODS数据仓库ETLOLAP数据同步ETLOLTPorOtherSmartAnalyticsSystemSch

2、ematicOLTP交易系统CDCServer数据同步服务器ODS操作型数据库ETLServer数据抽取，数据清洗，输入装载数据仓库汇总数据，历史数据OLAP&Reprot数据分析，报表展现ServerETL（数据抽取，转换，装载）ETL是BI/DW的核心和灵魂，按照统一的规则集成并提高数据的价值，是负责完成数据从数据源向目标数据仓库转化的过程，是实施数据仓库的重要Phasesoftware步骤。ETLDataStage(Informationserver)如果ETL数据落地，要根据源数据容量InfoSphereSQW规划磁盘存储容量，如果直接入数据仓库只强调CPU数目，内存容量。可多节点

3、扩展提高性能。ETLServer需要较高的CPU处理能力、内存容量以及IO能力，通常建议采用中端UNIX服务器如IBMPower740等，并可部署多节点以提供更高的性能。数据仓库采用DB2多分区架构大量的并发计算，大数据量查询Phasesoftware多节点部署，需要大容量存储支持数据仓DB2withDPF库DWServer的设计可以参考IBM数据仓库最佳实践—BCU，选择高端UNIX服务器如IBMPower750等实现。应特别注意CPU、内存、IO以及存储之间的平衡关系.node1node2node3node4node5node6BCUE7100v9.5p6-570数据节点配置•p570

4、BPUBPUBPUBPU–4xPOWER6processors–32GBRAM–2x4GbpsFibreChannelPCI-edual-portAIXOSadaptersCPUCPUCPUCPU–2xGigabitEthernetPCI-edual-portadapters;8GB8GB8GB8GBMemoryMemoryMemoryMemory•DS4800–133x146GB15RPMFCdrivesBPUBPUBPUBPU•HighPerformance–Upto~1000MB/secAIXOSCPUCPUCPUCPU8GB8GB8GB8GBMemoryMemoryMemoryMe

5、moryBCU数据节点的服务器关键配置点1.BCUv9.5CPU与内存的关系OneDB2DataPartition•1CPU配置8GB内存CPU2.BCUv9.5CPU与I/O带宽的关系Memory•1CPU对应I/O带宽250MB/sHBA3.BCUv9.5CPU与存储容量的关系I/OChannels•1CPU对应可用存储容量3.5TBStorageCapacityCPU、内存、I/O带宽和HBA的合理配比构成了一个平衡的系统大多数场景OLAP服务器和报表服务器放在一起，OLAPServer+ReportServer因为Cubeserver不会存在很大性能压力，数据仓库数据更新才增量运算

6、。PhasesoftwareReportServer配置的通常经验是1个CPU平均支持OLAPCognosPowerCube10~15个用户。Server平常用户与特殊用户的比率关系大概是前端报CognosReport，表CognosNow10：1.5：1.5前端报表报表系统强调高主频运算而非大批量并发。如需存放Cube文件，应加强磁盘读取性能。OLAP+ReportServer主要强调CPU运算能力，通常建议采用高主频的低端UNIX服务器实现，如IBMPower710、720等。POWER7System–均衡的系统•BalanceSystemDesign–Cache,Memory,and

7、IO•POWER7ProcessorTechnology–6thImplementationofmulti-coredesign–OnchipL2&L3caches•POWER7SystemArchitecture–BladestoHighEndofferings–Enhancesmemoryimplementation–PCIe,SAS/SATA•BuiltinVirtualization–MemoryExpansio