高通量DNA测序数据的多任务并行压缩算法.pdf

《高通量DNA测序数据的多任务并行压缩算法.pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、第32卷第7期计算机应用研究Vo1．32No．72015年7月ApplicationResearchofComputersJu1．2015高通量DNA测序数据的多任务并行压缩算法术何娜，李家辉，王婷，罗海飚(1．广州中国科学院软件应用技术研究所并行软件研发中心，广州511458；2．中国科学院软件研究所，北京100190)摘要：研究采用任务并行的方法，对FastQ格式文件的压缩程序DSRC(DNAsequencereadscompression)进行了加速。这一任务并行算法将DSRC分为数据读入和数据

2、压缩两个独立的任务，而后将数据压缩的统计过程进一步细分为title行数据统计和其他数据统计两个独立任务。研究结合CPU多线程、GPU、MIC(manyintegratedcore)，针对title行数据设计了高并行度的统计算法，实现title行数据的并行统计。在维持原有压缩比的情况下，本研究得到的最大压缩通量可以达到144MBps，最大加速比可达三倍。结果表明，多任务并行的方法可以有效地加速DSRC，而协处理器对DSRC的加速效果并不明显。另外本算法在压缩ILLUMINA和SOLID测序平台下的Fas

3、tQ数据时，其加速效果比压缩LS454测序平台的数据更为明显。关键词：多任务并行；多线程；GPU；MIC；FastQ文件；压缩中图分类号：哪!1．56；TP301．6文献标志码：A文章编号：1001．3695(2015)07．201404doi：10．3969／j．issn．1001-3695．2015．07．024Multi一taskparallelcompressionalgorithmforhigh—throughputDNAsequencingdataHeNa，LiJiahui，WangTin

4、g2，LuoHaibiao(1．1nstit~eofSoftwareApplicationTechnology，Guangzhou＆CASParallelSoftwareResearch&DevelopmentCenter，Guangzhou511458，Chi—na；2．InstitmeofSoftwareCAS，Being100190，China)Abstract：Thispaperadoptedmulti—taskparallelalgorithmtoacceleratetheprogramDS

5、RC，whichwasaprogramcompressedFastQformatfiles．TheDSRCdividedintotwoparalleltasks：dataprocessedtaskanddatainputtask．Then。thedatapro．cessedtaskfartherdividedintotwoparts：titledataprocessedpartandotherdataprocessedpart．Researchdesignedhighpar-allelismalgor

6、ithmforprocessingtitledata，combinedwithCPUmulti．thread，GPUandMIC。implementthetitledataparallelprocessedpart．Atlast，inthecaseofmaintainingtheoriginalcompressionratio，thisstudyobtainedthemaximumthroughputthatwas144MBpsandgotthemaximumspeedupwhichwas3x．Res

7、ultsshowthatthemulti—taskalgorithmhassignificanteffectOilDSRC，whilecoprocessorsplaysmallroleinaccelerationofDSRC．ResearchalsofindsthatthisalgorithmreceivesbetteraccelerationeffectwhencompressingILLUMINAandSOLID’SFastQformatfilesthancompressingLS454’SFas

8、tQfor-matfiles．Keywords：muhi—taskparallel；muhithread；GPU；MIC；FastQformatfile；compression现有基因测序数据的压缩技术可以分为通用型和专用型。0引言通用型的压缩软件如gzip和bzip2等，没有利用基因测序文件基因测序技术能够快速而准确地获取生物体内基因组上的特点进行压缩，因此压缩性能不如专用型的压缩软件。的遗传信息，可应用于表观遗传性和基因组学的研究、基因诊专用型的压缩