基于广域存储系统的副本技术研究.pdf

《基于广域存储系统的副本技术研究.pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、第20145卷年第53月期网络新媒体技术V0M1．4No．3av2015基于广域存储系统的副本技术研究闫鹏飞’吴雪丽蔡杰明马留英2刘振军(中国科学院计算技术研究所北京100190中国科学院大学北京100049中软信息系统工程有限公司北京100081)摘要：针对广域网高延迟、低带宽的特性给广域文件系统访问带来的性能影响问题，提出了一种不依赖于底层文件系统、能够加速广域文件系统读写访问的缓存策略。该策略支持基于区间粒度的文件数据缓存及访问，并支持元数据本地缓存；并提供基于阈值的容量管理功能，采用超时与最终一致相结合的方式维护缓存的一致性。最后使用典型的文件I／O基准测试工具和元数据性能测试工具对

2、该缓存策略进行了评测，实验结果表明：该缓存策略减少了客户端与服务器的交互次数，给广域文件系统的数据访问带来了明显的性能提升，当缓存命中时其数据的读写性能与本地文件系统相近。关键词：广域网，文件系统，数据中心，副本，并行TCPResearchonDataReplicationinWide—-AreaStorageSystemYanPengfei一，WuXueli，CaiJieming，MALiuying，LiuZhenjun(InstituteofComputingTechnology，ChineseAcademyofSciences，Beijing，100190，China，Universi

3、tyofChineseAcademyofSciences，Beijing，100049，China，ChinaNationalSoftwareInformationSystemEngineeringCo．，Ltd，Beijing，100081，China)Abstract：Toaddresstheperformanceissuesoverhighlatency，lowbandwidthwide—arealinks，weproposeacachingstrategywhichisindependentoftheunderlyinglocalfilesystemsandcanspeedupdat

4、aaccessinwide—areafilesystems．Inourapproach，filesarecachedandaccessedatthegranularityofextentsandcanbeeliminatedonathreshold—basedpolicy；metadataisalsocachedlocally．Withregardtoconsistencymodel，itisachievedbasedontimeoutandeventualconsistency．WeusefileI／Obenchmarkandmetadatabenchmarkprogramstovalid

5、ateourapproach．Evaluationresultsdemonstratethatourapproachreducesinteractionsbetweenclientandserver，thereforedramaticallyincreasestheoverallperformanceofdataaccessinwide—areaenvironment．Thetestsalsoshowthatifthereisacachehit，itcanofferacomparableperformancetolocalfilesystems．Keywords：WAN，filesystem

6、s，datacenter，replication，parallelTCP随着互联网的快速发展，互联网产生的数据量呈指数增长。根据权威机构IDC(InternetDataCenterIDC互联网数据中心)数字宇宙。的最新研究表明，2013年全球的数据总量达到了4．4ZB。预计到2020年全球数据总量将达到44ZB，也就是说2020年的全球数据总量将是2013年的10倍，超出了原来预测的每两年翻一番的增长速度。服务网站Facebook每天新增的数据量达到了500多TB，存储的未压缩数据已经达到了上百PB。根据2014年的最新统计结果，Twitter每天有5800万条推文被发送，并且每天会有2l亿

7、条的查询本文于2014—10—30收到，2014—12—26收到修改稿。}基金项目：国家“八六三”高技术研究发展计划基金项目(编号：2011AA01A102，2013AA013205)，国家“九七三”重点基础研究发展计划基金项目(编号：2011CB302304)，中国科学院先导专项基金项目(编号：XDA06010401)，中国科学院重点部署基金项目(编号：KGZD—EW一103—5(7))。20网络新媒体技术