大规模PC集群语义系统纠删码Hash容错算法-论文.pdf

《大规模PC集群语义系统纠删码Hash容错算法-论文.pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、第3O卷第8期科技通报VoI．30No．82014年8月BULLETINOFSCIENCEANDTECHN0L0GYAug．2014大规模PC集群语义系统纠删码Hash容错算法诸振家，陆云帆(深圳信息职业技术学院软件学院，广东深圳518172)摘要：设计基于纠删码技术的大规模PC集群语义系统，有效保证数据的容错性是关键。传统方法采用水平阵列纠删码可能导致随机码的校验数据位与信息数据位分离，从而导致误删。提出一种基于集合间的映射机制和集合内的分发机制的大规模PC集群语义系统的纠删码Hash容错算法，首先把纠删码容错技术的存储系统映射到Hash空间，设计

2、纠删码编码数据块放置算法，定义了可靠性代价函数、删码容错性评价值和平均访问时间作为评价指标。实验表明，该方法能有效提高大规模PC集群语义系统中数据传输和存储的容错性，平均访问时间缩短，平均无故障时间延长，容错性评价值最高，保证数据传输和存储安全。关键词：纠删码；语义系统；容错算法；Hash空间中图分类号：TP399文献标识码：A文章编号：1001—7119(2014)08—0215—03AlgorithmofErasureCodesHashFaultTolerantBasedonLarge。-’scalePCClusterSemanticSystem

3、ZhuZhenfia，LuY~nfan(SchoolofSoftwareEngineering，ShenzhenInstituteofInformationTechnology，ShenzhenGuangdong518172，China)Abstract：Thedesignoflarge—scalePCclustersemanticsystembasedonerasurecodeisresearched，andthefaulttoler—anceofdataisthekey．Thetraditionalmethodusinghorizontalarr

4、ayerasurecodesmayleadtocheckdatainformationdatarandomcodeseparation，leadingtofaultdelete．ThispaperputsforwarderasurecodeHashafaulttolerantalgorithmforlarge—scalePCclustersystemofsemanticmappingmechanismanddistributionmechanismwithinthecollectionbasedonerasurecodes．Thereliabilit

5、ycostfunction，deletecodefaulttoleranceevaluationvalueandtheaverageaccesstimearede—finedastheevaluationindex．Experimentsshowthat，thismethodcaneffectivelyimprovethefaulttoleranceofthedatatransmissionandstorageoflarge—scalePCclustersemanticsystem，theaverageaccesstimeisshortened，th

6、eaveragefail—arefreetimeisimproved。faulttolerancevalueishigh。itensuresthesecurityofdatatransmissionandstorage．Keywords：erasurecodes；semanticsystem；faulttolerantalgorithm；Hashspace0引言术，特别是随着大规模PC集群语义系统的出现，节点规模不断扩大，导致节点数据失效成为常态。因此研究大规模PC集群语义系统的数据容错编码和防止失随着计算机技术，信息技术的快速发展，无论是在数据库访

7、问，还是数据采集特征提取等领域，或是电子效问题，成为当今信息处理领域和广大网络数据处理商务、网络DeepWeb数据库构建，越来越多的信息处研究者关注的热点话题。理领域离不开数据传输编码这一信息化新兴学科，以目前大规模PC集群语义系统的数据容错算法广泛运用的都是基于复制技术的副本布局来解决数据容便于人们从海量数据信息中提取有用的特征和数据。错和存储系统容错性的问题，针对这一问题，本文提随着智能语义的构架的出现，采用智能语义方法进行数据挖掘、数据库访问，成为资源存储调配的关键技出一种基于集合间的映射机制和集合内的分发机制的收稿日期：2013—08—18基

8、金项目：基于智能语义分析技术的跨平台SQL解析系统的研究与应用(YB201014)。作者简介：诸振家(198