基于分布式文件系统的图片存储服务的研究new

《基于分布式文件系统的图片存储服务的研究new》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、万方数据2011年第04期，第44卷通信技术V01．44，No．04，2011总第232期CommunicationsTechnologyNo．232。Totally基于分布式文件系统的图片存储服务的研究祖研。，帅仁俊。，陈平。(①南京工业大学计算机系，江苏南京210009；②南京市卫生信息中心，江苏南京210009)【摘要】详细分析了分布式文件系统的三个基本特点，分别为节点服务器的分类，数据分布和节点服务器间的通信．在这个前提下，提出了基于分布式文件系统架构实现图片存储服务的方法，并详细说明了该方法的Java实现．此方法以Had

2、oop为基础，利用HDFS(HadoopDistributedFileSystem)的特点，充分运用现有低端硬件设备的处理能力，简化了分布式图片存储服务系统的设计，并提高了系统的性能和可靠性．【关键词】图片存储服务；Hadoop；分布式文件系统【中图分类号】TP315【文献标识码】A【文章编号】1002-0802(2011)04-0138-02ImageStorageServicebasedonDistributedFileSystemzuYan。，SHUAIRen-jun。，CHENPing。(④Dept．ofComputer，

3、NanjingUniversityofTechnology，NanjingJiangsu210009，China⑦NanjingHealthInformationCenter。NanjingJiangsu210009。China)【Abstract]Thispaperanalyzesindetailthethreebasiccharacteristicsofdistributedfilesystem，includingtheclassificationofmulti—nodeservers，thedatadistribution，

4、andthecommunicationbetweenthemulti—nodeservers．Basedonthis，amethodforrealizingtheserviceofimagestorageisproposed，whichisbasedondistributedfilesystemrealizedinJava．Thismethod，withHadoopasthefoundationandbythefeaturesofHDFS(HadoopDistributedFileSystem)。providesaconvenie

5、ntandflexibleframeworkfordistributedstoragesystemonaclusterofcomoditymachines。Themethodcouldsimplifythedesignofdistributedimagestorageservicesystemandimprovetheperformanceandrellabilityofthesystem．[Keywords]imagestorageservice；Hadoop；HDFS’O引言随着互联网应用种类的越来越多，面对不断增长的互联网用

6、户，也带来不同的不断增长的海量数据。如何存储和处理这些海量数据，对大规模的互联网企业提出了巨大的技术挑战。在这样的挑战下，传统关系型数据库已经开始不能满足互联网应用的需求，分布式文件系统成为解决海量数据存储的技术手段之一。Google公司设计并实现的分布式文件系统GFStl】已经成为Google公司的核心存储平台。Apache开源社区的Hadoop为分布式文件系统提供了JA、，A实现，即皿FS。文中利用HDFS对图片存储服务进行改造。1HDFS架构的分析分布式文件系统，在整个分布式系统体系中处于最基础收稿日期：2010-11一17

7、．作者简介：祖研(1986一)，男，硕士研究生，主要研究方向为数据存储、数据挖掘、区域医疗信息化：帅f俊(1962-)。男，副教授，硕上生导师，主要研究方向为数据挖掘、区域医疗信息化：陈平(1962一)。男，硕士，主要研究方向为区域医疗信息化．138的地位。从内部实现来看，HDFS的文件内容和目录结构都不是存储在本地磁盘上，而是通过网络传输到远端系统上。并且，同一个文件存储在一簇机器上分布式存储，协同提供服务。这里将从3个方面对HDFS的基本架构进行分析。HDFS的架构如图1所示。名结点元数据(结点名称，块信息，⋯)文件位置：／h

8、ome／foo／data,3靴扫数据块II厂l}●I≮暮图1HDFS架构I．INamenode和DatanodeHDFS采用master／slave架构f2】。一个HDFS集群是由一个Namcnode和一定数目的Datanode组成。Namenod