海量无线电监测数据的分布式存储及检索技术研究

《海量无线电监测数据的分布式存储及检索技术研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、？分类号密级ＵＤＣ硕±学位论文海量无线电监测数据的分布式存储及检索技术研究：冯摧作者姓名，卢．ｊｆＶ：Ｉ工程领域计算机技术，歷３Ｑ眶学号：—邑＇．：ｉ指导教师．贾年ｉ［—＾＊：２０１６６、一月＿扇—慮日期年＾２＾＇■—％ｍ１側－一一？－—一——ClassifiedIndex:UDC:XihuaUniversityMasterDegreeDissertationTheResearchonDistributedStorageandRetrie

2、valTechnologyBasedonMassiveRadioMonitoringDataCandidate:FengHaoMajor:ComputerTechnologyStudentID:212013085211014Supervisor:JiaNianApril,2016西华大学学位论文独创性声明作者郑重声明：所呈交的学位论文，是本人在导师的指导下进行研究工作所取得的成果。尽我所知，除文中己经注明引用内容和致谢的地方外，本论文不包含其他个人或集体己经发表的研究成果，化不包含其他己申请一学位或其他用途使用过的成果。与我同工作的同志对本研究所

3、做的贡献均已在论文中做了明确的说明并表示了谢意。若有不实之处，本人愿意承担相关法律责任。学位论文作者签指导教师签名名抑曰期：日期西华大学学位论文版权使用授权书本学位论文作者完全了解学校有关保留、使用学位论文的规定，在校攻读学位期间论文工作的知识产权属于西华大学，同意学校保留并向国家有关部口或机构送交论文的复印件和电子版，允许论文被查阅和借阅，西＾！华大学可义将本论文的全部或部分内容编入有关数据库进行松索，可Ｌ乂采＇用影印、汇编本学位论文缩印或扫描等复印手段保存和。（保密的论文在解密后遵守此规定）学位论文作者签杂

4、＾＾指导教师签曰期：曰期：摘要随着物联网、4G网络、移动互联等技术的广泛使用，无线电通讯得到大量应用。然而由于伪基站、黑广播、卫星电视干扰器等设备的大量出现，导致了无线电波的秩序受到了严重的扰乱破坏。为了保障无线电波秩序，需要及时对无线电信号进行监测，监察并严惩扰乱秩序的无线电设备和相关使用人员。无线电资源的管理工作涉及到国家安全和隐私保护等方面，随着社会信息化的不断推进，无线电频谱资源的管理与利用越来越重要。无线电监测网已经形成了国家、省、地市监测中心，具备联网监测能力。同时，无线电监测已经形成了海量的监测数据，然而由于无线电台站自身的分散性以及监

5、测软件的网络联动能力和智能化程度都不高，采集到的数据都以原始数据的形式存储在本地数据库中，并没有有效的进行分析、整理。另外，面对海量的监测数据，SQL查询效率是不能够忍受的，这就导致了无线电监测数据的孤立化存储，利用率极低，无法迅速的把有效信息提供给无线电监管部门。针对上述现状，本文设计了一种针对分布、海量的无线电监测数据的处理、存储及检索模型，实现了对无线电监测数据的分布式存储以及高效检索。本文的主要工作有：（1）设计了一种无线电监测数据的预处理方法。针对无线电监测设备监测到的不同类型的无线电数据，首先按照时间维度对监测数据进行划分；然后采用K-Means算法

6、对时间维度上的监测数据进行聚类分析；最后计算数据与类中心点的距离值，移除噪声点。（2）设计一种以特征参数方式存储和检索的方案。本文基于无线电信号的一些统计特征与信号的业务类型之间的联系，在时间维度上，提取出监测数据的33个特征参数，作为该段时间内所有监测数据的表示。（3）设计并验证了一种针对海量无线电监测数据的分布式存储及检索原型系统。包括设计了UIP统一接口平台、存储层、检索层以及时间同步服务等，并放弃无线电监管行业现在普遍采用的SQL数据库，采用NoSQL数据库HBase实现对监测数据的分布存储和检索。本文整体上完成了对无线电监测数据的分布式处理、存储及检索

7、，实现了对无线电监测数据的快速处理，为无线电监管部门提供了对监测数据的有序存储、快速检索和可靠分析，可以极大的满足未来海量监测数据的存储和检索需求。本文的部分研究成果已经成功应用在“无线电智能监测网络系统”和“省市两级无线电智能监测网络系统试验网集成工程”项目中。关键词：无线电监测；分布式存储；HDFS；HBase；聚类IAbstractWiththewideuseofInternetofthings,4Gnetwork,mobileInternetandothertechnologies,radiocommunicationiswidelyused.Howev

8、er,duetothel