基于biris-ssp数据管理服务技术和平台

《基于biris-ssp数据管理服务技术和平台》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、国内图书分类号：TP315学校代码：10213国际图书分类号：681.3密级：公开硕士学位论文基于BIRIS-SSP的数据管理服务技术与平台硕士研究生：郑小娟导师：战德臣教授申请学位：工程硕士学科：计算机技术所在单位：计算机科学与技术学院答辩日期：2012年6月授予学位单位：哈尔滨工业大学ClassifiedIndex:TP315U.D.C:681.3DissertationfortheMasterDegreeTECHNOLOGYANDPLATFORMOFDATAMANAGEMENTSERVICEBAS

2、EDONBIRIS-SSPCandidate：ZhengXiaojuanSupervisor：Prof.ZhanDechenAcademicDegreeAppliedfor：MasterofEngineeringSpeciality：ComputerTechnologyAffiliation：SchoolofComputerScienceandTechnologyDateofDefence：June,2012Degree-Conferring-Institution：HarbinInstituteofT

3、echnology哈尔滨工业大学工程硕士学位论文摘要随着互联网技术的飞速发展，新创建的数据及其传播使互联网充斥着大量的数据，并且在不断的壮大。无论是企业还是个人都面临着海量数据存储和管理的难题。传统的数据处理方式已经无法适应现在数据管理的需要并成为了信息化进程中的瓶颈，针对于这一个问题，本文在基于双边资源整合的服务智慧平台上对数据管理服务与技术进行了研究。本文通过对目前的数据管理平台和云计算的研究和分析，对数据管理中涉及到的问题提出有效的解决方案。在海量数据存储方面，采用开源的HDFS（HadoopDi

4、stributedFileSystem），它具有动态收缩性、高可靠性、高效性和存储成本低等特点，对HDFS系统进行了研究，包括它的整体架构，系统维护，读写过程，节点间的通信等内容。利用HDFS来完成分布式环境的部署，并在这个基础之上实现数据的存储。在数据的管理方面，提出了三种数据分类的模式：用户自己分类，数据管理平台人员分类，自动分类，对这三种模式进行了研究分析和设计，满足数据分类的需要，为用户提供全方位的服务。在数据的处理分析方面，采用了计算编程模型MapReduce，它可以在分布式环境下并行的处理数

5、据，研究MapReduce工作原理，处理机制，并进行了实际的应用。通过对系统的分析和理论的研究，设计并开发了数据管理服务技术平台。从整体架构、功能架构、详细设计、HDFS设计、MapReduce设计、自动分类、数据库设计等都给出了具体方案，并将其在数据管理服务技术与平台上进行了实现，包括了程序类的实现，环境部署，系统的程序流程，系统的运行以及具体的系统应用等方面。关键词：数据管理；HDFS；MapReduce；自动分类；SVM-I-哈尔滨工业大学工程硕士学位论文AbstractWiththerapidd

6、evelopmentofInternettechnology,thenewlycreateddataanditstransmissiontomaketheInternetfilledwithlargeamountsofdata,andthegrowingstrength.Whetheritisbusinessorpersonal,arefacedwiththeproblemofmassdatastorageandmanagement.Traditionaldataprocessingmethodhasb

7、eenunabletoadapttotheneedsofdatamanagementandbecomethebottleneckintheprocessofinformation.Toaddressthisissue,thispaperstudydatamanagementservicesandtechnologyonthesmartserviceplatformforbllateralresourceintegrationservice.Inthispaper,throughresearchandan

8、alysisthecurrentdatamanagementplatformandcloudcomputing,putforwardeffectivesolutionstotheissuesinvolvedindatamanagement.Inmassdatastorage,usingopensourceHDFS(HadoopDistributedFileSystem),ithasmanyfeatures,includingadynamic