网络存储技术结课报告

《网络存储技术结课报告》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第1章从淘宝网技术发展浅谈其成功与经验教训11.1引言11.2淘宝网浅谈11.2.1个人网站11.2.2Java时代31.2.3创造技术31.2.4分布式时代41.2.5中间件51.2.6Session框架51.2.7开放平台61.3总结6第2章大型云存储中心设计72.1引言72.2云存储中心设计72.2.1Hadoop平台72.2.1.1Hadoop分布式文件系统82.2.1.2MapReduce编程92.2.1.3Hbase分布式数据库102.2.2文件系统的设计122.2.3文件块存储策略及副本策略设计132.2.4文件块更新算法设计142.2

2、.5事务故障恢复系统设计172.2.6目录存储与负载均衡设计172.3总结18参考文献1817第1章从淘宝网技术发展浅谈其成功与经验教训1.1引言至2011年年底，淘宝网拥有全国最大的Hadoop分布式计算集群之一，日新增数据50TB，有40PB海量数据存储，分布在全国各地80多个节点的CDN网络，支撑的流量超过800Gbps。淘宝的搜索引擎能够对数十亿的商品数据进行实时搜索，另外，还拥有自主研发的文件存储系统和缓存系统，以及Java中间件和消息中间件系统，这一切组成了一个庞大的电子商务操作系统。从商业数据上看，mazon的财报显示2011年完成了大

3、约480亿美元的交易额，eBay的2011年财报显示全年完成了大约600亿美元的交易额（不包括其独立的汽车交易平台）。无论从交易额、商品数量还是从同比增速等指标上看，淘宝网均远超于此，是目前全球最大的电子商务平台。如今淘宝网的流量已经是全球排名第12、国内排名第3）。淘宝网的系统也从使用一台服务器，到采用万台以上的服务器。淘宝网在整个发展过程中，经历了许多主动和被动的技术变革，笔者将根据这些浅谈淘宝系统的成功及经验教训。1.2淘宝网浅谈本节中，笔者将淘宝的技术发展分为个人网站、Java时代、创造技术、分布式时代、中间件、Session框架、开放平台等

4、七个阶段，并就每个阶段展开分析，浅谈淘宝系统的成功与经验教训。1.2.1个人网站2003年4月7日，马云在杭州成立了淘宝网，这个创业团队的成员：三个开发工程师、一个UED工程师、三个运营工程师、一个经理，以及马云和他的秘书。他们买了这样一个架构的网站：LAMP（Linux+Apache+MySQL+PHP），这个直到现在还是一个很常用的网站架构模型，其优点是：无须编译，发布快速，PHP17语言功能强大，能做从页面渲染到数据访问所有的事情，而且用到的技术都是开源、免费的。他们对这个网站进行了很多本地化的修改，其中最有技术含量的是对数据库进行了一个修改，

5、原来是从一个数据库进行所有的读写操作，现在把它拆分成一个主库、两个从库，并且读写分离。这么做的好处有几点：存储容量增加了，有了备份，使得安全性增加了，读写分离使得读写效率得以提升。在接下来的大半年时间里，这个网站迅速显示出了它的生机。随着用户需求和流量的不断增长，系统做了很多日常改进，服务器由最初的一台变成了三台，一台负责发送Email、一台负责运行数据库、一台负责运行WebApp。一段时间之后，商品搜索的功能占用数据库资源太大了，2003年7月，又把阿里巴巴中文站的搜索引擎iSearch搬了过来。随着访问量和数据量的飞速上涨，问题很快就出来了，第一

6、个问题出现在数据库上。MySQL当时是第4版的，淘宝用的是默认的存储引擎MyISAM，这种存储引擎在写数据的时候会把表锁住。当Master同步数据到Slave的时候，会引起Slave写，这样在Slave的读操作都要等待。还有一点是会发生Slave上的主键冲突，经常会导致同步停止，这样，发布的一些东西明明已经成功了，但就是查询不到。另外，当年的MySQL不比如今的MySQL，在数据的容量和安全性方面也有很多先天的不足，于是把MySQL换成Oracle就成了顺理成章的事情。数据一开始是放在本地的，淘宝对Oracle做调优的工作，也对SQL进行调优。后来数

7、据量变大后，本地存储无法满足了，就买了NAS，NetApp的NAS作为数据库的存储设备，加上OracleRAC来实现负载均衡。在把数据的连接放在SQLRelay之后，这个代理服务经常会死锁，如同之前的MySQL死锁一样。虽然做了很多修改，但当时那个版本内部处理的逻辑不对，问题很多，最快的解决办法就是“重启”它的服务。在2003年10月，淘宝网上线了一个功能，叫做“安全交易”，卖家如果选择支持这种功能，买家就会把钱交给淘宝网，等他收到货之后，淘宝网再把钱给卖家，这就是现在的“支付宝”。一年之后，几乎所有的卖家都选择担保交易，到后来干脆所有的交易都必须走

8、担保交易。在2012年支付宝的年会上，支付宝公布2011年的交易笔数已经是PayPal的两倍。1.2.2Ja