大型数据仓库最佳实践ppt课件

《大型数据仓库最佳实践ppt课件》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、SQLServer2005大型数据仓库系统设计经验分享聂发如技术方案专家微软(中国)有限公司安排SQLServer2005数据仓库增强关系型数据仓库数据仓库设计数据装载、删除与备份硬件与存储SQLServer集成服务(IntegrationServices)SQLServer分析服务(AnalysisServices)SQLServer2005数据仓库增强SQLServer关系型引擎表分区与索引分区在线索引维护Piecemeal备份&恢复TSQL分析语句--Pivot,Unpivot,RankNUMA支持X64支持共享、可扩展数据库--SharedScalableDatabase快照隔

2、离级别SQLServer报表服务企业报表对RDBMS与AS多维数据源的支持最终用户查询工具–报表生成器SQLServer2005数据仓库增强SQLServer集成服务高效的内存级的ETL处理专为数据仓库服务的转换组件缓慢变化维--SlowlyChangingDimensions主键检索--KeyLookup丰富的日志与容错处理能力SQLServer分析服务支持星型，甚至多-多等非传统数据架构完成支持维度模型--UDM丰富、灵活、可脚本化cube处理；DistinctCount的提升事实表和维表事实表PeriodDateKeyWeekNumberYearCustomerCustomerK

3、eyCustomerIDCustomerNameEnterpriseNameSICCodeAddressCityStateZipProductProductKeyProductIDProductNameCategorySalesDateKeyCustomerKeyProductKeyQtySoldDollars维表典型的星型架构‘StarSchema’查询示例:Selectsum(Dollars)fromSalesSjoinProductPonP.Product_Key=S.Product_KeyjoinCustomerConC.Customer_Key=S.Customer_

4、KeyjoinPeriodPeonPe.Date_Key=S.Date_KeywhereProduct_Name=‘SQLServer2005’andEnterprise_Name=‘MSFT’andWeek_Number=20andYear=2006事实表物理设计在日期字段上建立ClusteredIndex支持对某一时间段的快速顺序扫描在每个foreignkey上建立日期字段上建立NonclusteredIndexes(foreignkey,DateKey)用于支持针对某一dimension的选择性查询避免PK与FK约束加快数据加载事实表物理设计Createcluster

5、edindexSalesCIDateonSales(DateKey)CreatenonclusteredindexSalesNCICustomeronSales(CustomerKey,DateKey)CreatenonclusteredindexSalesNCIProductonSales(ProductKey,DateKey)PeriodDateKeyWeekNumberYearCustomerCustomerKeyCustomerIDCustomerNameEnterpriseNameSICCodeAddressCityStateZipProductProductKeyPr

6、oductIDProductNameSalesDateKeyCustomerKeyProductKeyQtySoldDollars事实表维表SalesNCIProductSalesCIDate事实表索引SalesNCICustomer对大型（大于50~100GB）事实表及其索引分区按日期字段分区可管理性滑动窗口可以简化历史数据清理查询性能包含时间条件的查询只需要访问所涉及的分区使用有意义的integer类型的日期key(20060101)易于编写适用于分区过滤的查询事实表物理设计--2事实表物理设计--2总是使用对齐的分区索引总是保持在首尾有空的分区使增加与删除分区更高效分离与合并--

7、（SplitandMerge）PeriodDateKeyWeekNumberYearCustomerCustomerKeyCustomerIDCustomerNameEnterpriseNameSICCodeAddressCityStateZipProductProductKeyProductIDProductNameCategorySalesDateKeyCustomerKeyProductKeyQtySoldDollars事实表维表2006