云平台下光谱数据快速无损压缩技术的研究

《云平台下光谱数据快速无损压缩技术的研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、硕士学位论文云平台下光谱数据快速无损压缩技术的研究学科专业电路与系统学位类型□√科学学位□专业学位研究生姓名姜小龙导师姓名、职称杨家红教授论文编号湖南师范大学学位评定委员会办公室二零一五年五月湖南师范大学学位论女原创性声明本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独立进行研究工作所取得的成果。除文中己经注巧引用的内容外，本论文不含任何其他个人或集体已经发表或撰写过的作品成果。对本文的研究做出重要贾献的个人和集体，均己在文中Ｗ明确方式标明。本人完全意识到本异明的法律结果由本人承捏。？学位论文作者签名＾＾＿ｌ＿＾ｉ＾ｃ＾Ｉ年立月日湖南师范大学学位论文版权使用

2、授权书＾本学位论文作者完全了解学校有关保留、使用学位论文的规定，研究生在校攻读学位期间论文工作的知识产权单位属湖南师范大学。同意学校保留并向国家有关部口或机构送交论文的复印件和电子版，允许论文被查闽和借阅。本人授权湖南师范大学可从将本学位论文的全部或部分内容编入有关数据库进行检索Ｌ，可乂采用影印、缩印或担描等复制手段保存和汇编本学位论文。本学位论文属于１、保密□，在年解密后适用本摸权书。２、不保密因Ｃ＂＂（请在ｋ乂上相应方框内抒Ｖ）、作者签名日期：年Ｉ月Ｐ才日导师签名：日期年月ｖ日峻＾＾＾＾ｙ＾＾５８分类号密级学校代码10542

3、学号201002182063云平台下光谱数据快速无损压缩技术的研究StudyofRapidLosslessCompressiontechnologybasedonSpectralDataandCloudPlatform研究生姓名姜小龙指导教师姓名、职称杨家红教授学科专业电路与系统研究方向数字通信与网络技术湖南师范大学学位评定委员会办公室二零一五年五月摘要近年来，随着计算机性能的大幅提升、近红外光谱仪器的改进和化学计量学数据处理方法的研发，光谱技术在工业、农业、医药等领域得到了广泛应用。由于近红外光谱仪器具有快速和非损坏性检测、操作成本低、无需复杂预处理等一系列特点，与化学计量法相结合，非常适合

4、烟叶成分的定性定量分析。光谱仪器会产生海量的数据，如何对这些数据进行存储、分析、挖掘成为制约光谱技术应用的瓶颈。针对这些问题，本文从以下几个方面来进行云存储环境下光谱数据快速无损压缩技术的研究：一、深入研究了云存储的概念、体系结构和技术原理。对云存储涉及到的关键技术如虚拟化技术、并行编程模式、分布式文件管理作了深度剖析，重点分析了Hadoop平台中使用的MapReduce、HDFS等技术原理和实现过程。二、通过实验比较LZO、LZW和LZSS三种压缩算法在使用内存、压缩时间、压缩率和对不同数据压缩效率等四个方面的不同表现。实验分析得出，在相同环境下，LZO的压缩、解压缩速度是另外两种压缩算法的

5、20倍以上，而压缩率只比LZW和LZ77算法低10%左右。压缩数据量越大，LZO的时间优势越明显。在云平台分布式处理和并行传输环境下，通过损失部分压缩率来换取压缩时间是值得的，LZO算法更适合近红外光谱文件在云平台下的快速实时压缩。三、为了提高压缩效率，针对光谱数据的完整性要求，只需对关键波段压缩就能达到目的，因此，通过连续小波变换（CWT）建立I关键波段集检测数学模型，可快速检测出海量光谱、质谱文件中的关键波段集。该算法可通过个性化设定光谱文件中关键波段集的检测范围和步长，达到控制压缩文件大小的目的。最后，通过LZO算法对检测到的关键波段集进行压缩，提高了文件处理效率。四、根据用户需求和系统

6、需要，建立在Hadoop框架下的烟叶光谱数据信息管理系统。该系统能够实现用户对光谱数据的传输、删除、查询、分析和管理等功能。通过在烟叶光谱信息管理系统中测试表明，论文的数据压缩方法和关键波段集检测方法是可行的。关键词：LZO；快速无损压缩；近红外光谱；关键波段集；小波变换；HadoopIIAbstractInrecentyears,withthesurgeimprovementofcomputerperformance,thedevelopmentofnear-infraredinstrumentandtheresearchoftheprocessingmethodofchemometricd

7、ata,near-infraredspectroscopytechniquehasbeenwidelyusedinindustry,agriculture,medicineandotherfields.Becausethenear-infraredspectroscopyequipmenthadaseriesofcharacteristicssuchasfast,non-destructivede