基于flash混合存储的电子商务数据库性能优化研究

《基于flash混合存储的电子商务数据库性能优化研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、囊季天学学校代码：10255学号：106930博士学位论文基于Flash混合存储的电子商务数据库性能优化研究StudyofthePerformanceOptimizationofE—CommerceDatabaseonFlashhybridStorage专业名称：管理科学与工程作者姓名：指导教师：杜明乐嘉锦完成El期：2012年09月东华大学学位论文原创性声明本人郑重声明：我恪守学术道德，崇尚严谨学风。所呈交的学位论文，是本人在导师的指导下，独立进行研究工作所取得的成果。除文中己明确注明和引用的内容外，本论文不包含任何其他个人或集体己经发表或撰写过的作品

2、及成果的内容。论文为本人亲自撰写，我对所写的内容负责，并完全意识到本声明的法律结果由本人承担。学位论文作者签名：‘k阑日期：加召年3月弓El东华大学学位论文版权使用授权书学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学校保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅或借阅。本人授权东华大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。保密口，在——年解密后适用本版权书。本学位论文属于不保密√学位论文作者签名：求氓指导教师签名：日期：珈鸟年弓月弓日日期：彩／弓

3、年弓月弓日东华大学博士学位论文摘要当前电子商务的发展态势如火如荼，交易规模越来越大，导致了海量的电子商务数据，使得电子商务数据库的读写、更新和查询等性能提升变得越来越困难。当前主要的解决方案都已接近了数据库系统性能优化的极限。而Flash存储技术的发展为解决上述问题带来了新机遇，其超过磁盘100倍的VO性能可以作为突破数据库性能优化瓶颈的方法。因此本文将从底层存储技术研究入手，兼顾上层软件算法来实现提升电子商务数据库在海量数据环境下的运行性能。研究发现，Flash芯片的顺序读写和随机读取速度都远快于磁盘，但是随机写入和更新性能不足，且芯片价格较高。因此本

4、文提出采用Flash和磁盘混合存储系统，既可以综合利用两者各自的优势，又可以兼顾设备价格成本。但是基于混合存储系统的数据库部署方案目前尚无系统的研究。本文探索了基于混合存储系统的电子商务数据库性能优化，研究成果丰富了现有电子商务数据库的研究内容，对电子商务企业的发展具有重要的现实指导意义。本论文的研究内容主要有：(1)基于混合存储系统的差异存储模型的构建。从适合电子商务企业应用的角度出发，在数据库表和属性两个层面上构建了差异存储模型，并设计了判断表和属性数据读写敏感性和冷热性的阈值算法，实现了表及属性数据的读写敏感性和冷热性分析以及迁移存储方案。(2)基

5、于混合存储系统的差异存储模型的查询性能优化研究。消费者使用电子商务平台时需要进行大量的数据库查询操作，因而确保并提高电子商务数据库的查询性能对于保证电子商务企业运营质量至关重要。本文首先设计研究了HS．Join算法用于提高存储于不同存储介质的、以表为单位的多表连接查询性能；其次设计研究了PHS．Join算法，在Flash设备上提取主键列和连接列建立连接子表并基于子表重构整体连接表。实验表明了两种算法能够明显提高电子商务数据库的查询性能。(3)基于混合存储系统的差异存储模型的事务处理性能优化研究。电子商务数第1页东华大学博士学位论文摘要据库的事务处理性能是

6、电子商务企业提高响应能力，维护更多消费者人数．并在同一时间内满足每位消费者个性化需求的重要技术基础。本文以Oracle数据库为例，首先分析了事务处理过程中大量的临时数据和日志数据的读写敏感性及冷热性，确定了将这两类文件迁移存储到Flash设备中。其次根据日志文件增长迅速的特点，提出了DynamicLogging方法，当Flash空间不足时，日志记录可以实现分散存储。实验表明上述管理方法明显提高了电子商务数据库的事务并发性能。(4)基于混合存储系统的差异存储模型的数据仓库性能优化研究。优化电子商务数据仓库的查询分析性能是电子商务企业更快速、更准确地作出商业

7、决策的技术基础。本文首先提出了采用列存储方案，并提出了列迁移存储算法，提高了决策所需属性数据的查询效率。此外针对数据仓库中多属性关联分析时连接代价大的问题，提出了行列混合存储方法，通过提前固化减少了连接代价。最后提出了数据差异化压缩存储方案，既保障了数据的查询效率，又充分利用了磁盘的存储空间。本论文的创新点和主要贡献有：(1)本文从电子商务企业角度考虑其经济可行和技术可行两个方面，提出了在电子商务数据库中采用混合存储系统，并从表和属性两个层面构建了差异存储模型。既有利于电子商务企业应用实现，又能满足用户对响应速度可感知的要求。(2)本文提出了适合混合存储

8、系统查询的HS．Join算法和PHS．Join算法，充分利用了Flash的随机读