基于内存计算的流数据处理在飞行大数据的研究与应用

《基于内存计算的流数据处理在飞行大数据的研究与应用》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、矣击种成Ａ葦ＵＮＩＶＥＲＳＩＴＹＯＦ巨ＬＥＣＴＲＯＮＩＣｓｃＩＥＮＣＥＡＮＤＴＥＣＨＮＯＬＯＧＹＯＦＣＨＩＮＡ硕±学位论文ＭＡＳＴＥＲＴＨＥＳＩＳ病妥＼ＩＪ＇／ｓｓｅ－＼．论支题邑基于巧存计黨的谎教据创、现存飞行女数据的妍究与应用学科专业软件工程１＾＾、成１－－＝学号２０１３２１２２０１０１作者姓名王曾亦指导教师余壁搬＇；：＇－独剑性声明本人声明所呈交的学位论文是本人在导

2、师指导下进行的研究工作及取得的研究成果。据我所知，除了文中特别加标注和致谢的地方外，论文中不包含其他人己经发表或撰写过的研究成果，也不包含为获得电子科技大学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均己在论文中作了明确的说明并表示谢意。作者签名：雪都日期；八／６年４月叫日论文使用授权本学位论文作者完全了解电子科技大学有关保留、使用学位论文的规定，有权保留并向国家有关部口或机构送交论文的复印件和磁：盘，允许论文被查阅和借阅

3、。本人授权电子科技大学可将学位论文的全部或部分内容编入有关数据库进行检索，可采用影印、缩印或扫描等复制手段保存、汇编学位论文。（保密的学位论文在解密后应遵守此规定）作者签名：王富亦导师签名：日期：《年４月＾日分类号密级注1UDC学位论文基于内存计算的流数据处理在飞行大数据的研究与应用（题名和副题名）王曾亦（作者姓名）指导教师佘堃教授电子科技大学成都（姓名、职称、单位名称）申请学位级别硕士学科专业软件工程提交论文日期2016.3.15论文答辩日期2016.4.15学位授予单位和

4、日期电子科技大学2016年6月答辩委员会主席评阅人注1：注明《国际十进分类法UDC》的类号。ResearchandApplicationofStreamDataProcessingBasedonMemoryCalculationoverFlight’sBigDataAMasterThesisSubmittedtoUniversityofElectronicScienceandTechnologyofChinaMajor:SoftwareEngineeringAuthor:ZengyiWangSuper

5、visor:Prof.SheKunSchool:SchoolofInformationandSoftwareEngineering摘要摘要大飞机进行试飞测试，能够产生海量的试飞数据。传统的数据离线处理方式效率低下，延迟了试飞周期，增加试飞成本。为了能够高效的分析处理这些数据，本文设计并实现了一个基于内存计算的流数据处理的试飞数据处理系统。本文中的试飞数据处理系统，采用数据实时处理方式，依靠内存计算和流计算的高效性，显著提升数据处理效率。此外，本文提出了一种基于Markov的内存预测动态分配方法和一种基

6、于时序排队的流数据处理方法，结合Spark分布式内存计算框架，随机过程和排队论等相关知识，改进了原有内存计算和流计算的处理方式，可以加快海量试飞大数据的处理和流转速度，提高数据的价值。本文提出了一种基于Markov的内存预测动态分配方法，通过采用多马尔科夫链方式，根据其状态转移概率，求得其最大概率的转换情形，预测出最有可能需求的内存大小，能够节省内存分配的查询时间，降低内存碎片率。本文同时提出了一种基于时序排队的流数据处理方法，通过对带时间戳的流数据按照时序进行排队，从而能够按照试飞数据的处理要求进行

7、按序处理，同时提升流数据的处理效率。本文设计并实现了的一个基于内存计算的流数据处理的试飞数据处理系统，主要包括了数据采集子系统、数据预处理子系统、数据分析子系统、综合管理子系统等四个主要子系统。数据采集子系统主要负责进行机载原始数据的采集工作，并结合时间戳，形成时序原始数据；数据预处理子系统主要负责将原始数据进行格式转换，通过帧格式转换、工程量转换和流数据转换，最终形成所需的流数据；数据分析子系统主要负责进行数据整理和数值运算，可以结合各种算法，完成数据训练和数据的计算，最后得到试飞结果；综合管理子系

8、统主要包括系统二次开发、系统管理和数据管理三方面，能够对系统和数据进行有效的综合管理使用，以及二次开发。本文通过试飞数据处理系统和Spark分布式内存计算框架结合，充分利用Spark对于海量计算的优势，并采用基于Markov的内存预测动态分配方法来提升Spark内存计算时内存分配的效率，采用基于时序排队的流数据处理方法来提升SparkStreaming处理时序流数据时的效率，从而能够加快数据的实时处理速度。关键词：试飞数据，马尔科夫，动态内存分配，时序排