基于Hadoop的高效分布式取证：原理与方法-论文.pdf

《基于Hadoop的高效分布式取证：原理与方法-论文.pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、研究与开发基于Hadoop的高效分布式取证：原理与方法出吴松洋’。张熙哲’，王旭鹏’，李祥学(1．公安部第三研究所上海201204；2．华东师范大学上海200241)摘要：随着信息技术的发展以及各种智能设备的普及。设备的平台多样化使得现有电子数据勘查取证分析装备已不能满足网络和存储技术所需要的高速数据镜像存储和海量数据相关性分析等要求，并表现出操作复杂、效率低等缺陷。设计并实现了一种高效的基于Hadoop的分布式取证系统，它能够支持多介质并行取证的工作场景，并通过调度控制服务将不同的证据介质中的数据存储到不同的分布式数据存储服务器上，每个取

2、证任务运行时都可以独占一个取证介质，从而实现多介质的并行取证分析。实验数据显示，搜索一个2—4GB的文本数据的响应时间可以达到仅0．1S。关键词：Hadoop；分布式系统；取证；海量数据；多介质doi：10．3969／j．issn．1000—0801．2014．01．005AnEficientDistributedForensicSystemBasedonHadoop：PrincipleandMethodWuSongyang，ZhangXizhe，WangXupeng，LiXiangxue(1．TheThirdResearchInstitu

3、teofMinistryofPublicSecurity，Shanghai201204，China；2．EastChinaNormalUniversity，Shanghai200241，China)Abstract：Withthedevelopmentandpopularizationofinformationtechnologyandintelligencedevice，thediversityofdiferentdevicemakingforensicanalysisofexistingequipmentcannotmeettoday’

4、Snetworkingandstoragetechnologyrequirements，andexhibitcomplexoperation，loweficiency，onhighspeeddiskimagestorageandmassivedatacorrelation．AneficientdistributedforensicssystembasedonHadooptechnique，whichcansupportmultipleconcurrentmediasceneforensicswork，wasdesignedandimplem

5、ented，andthroughthedispatchcontrolserviceswouldbeevidenceofdiferentdatastoragemediatoadiferentdistributeddatastorageserver，eachforensictaskruntimecouldmonopolizeaforensicmediumtoachieveaparallelmultiplemediaforensicanalysis．Datashowthatresponsibleacknowledgedurationwillbe0

6、．1Sfora2-4GBtextfile．Keywords：Hadoop，distributedsystem，forensic，massivedata，multiplemedia信息资源存储媒介的比例仍呈上升趋势。因此，存储于计1引言算机及其他信息设备中的电子数据逐步成为针对和利用随着社会信息化的快速推进．越来越多的数据以电子计算机网络犯罪案件的重要证据和诉讼依据。随着社会信形式保存。统计数据显示，目前全世界所有信息数据采用息化进程的不断加快。对电子数据勘查取证分析的需求也电子存储媒介的占92．22％，并且未来采用电子方式作为越来越多，越来

7、越复杂；信息技术和存储技术不断更新，工国家“十二五”科技支撑计划基金资助项目(No．2012BAK07B01)究麓野发作量也越来越大。赌博案件和淫秽色情案件涉及的硬盘存行详细的跟踪记录，实现技术、工具、方法、过程的综合管储介质多，取证分析任务重，工作效率低。因此，电子数据理；支持多用户并行分析操作，包括多人同时对一个存储勘查取证必须有相应的技术、工具和系统予以支撑，以解介质进行分析，或一人同时对多个存储介质或案件进行分决上述问题。析．如图l所示。2．3分布式存储和运算2分布式取证框架存储原始的案件证据数据，为上层和分布式计算任务分布式取证框

8、架利用分布式系统的特点，采用并行执提供原始数据访问。分布式运算将承担系统中最耗时的应行机制，能够对大量数据进行分布式处理．涉及多介质证用分析逻辑，能够对电子数据进行并行化分析，大