雷达大数据存储与分析处理技术研究

《雷达大数据存储与分析处理技术研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、分类号：TN957密级：公开UDC：621.396.9编号:S2016-724-06中国舰船研究院硕士学位论文雷达大数据存储与分析处理技术研究作者：孟凡君指导老师：曹伟研究员管志强高级工程师学科专业：信号与信息处理南京船舶雷达研究所二○一六年三月分类号：TN957密级：公开UDC：621.396.9编号：S2016-724-06硕士学位论文雷达大数据存储与分析处理技术研究Researchonradardatastorageandanalysisprocessingtechnology指导教师姓名：曹伟职称:研究员指导教师姓名：管志强职称:高级工程师学位申请人姓名：孟凡君申请学位级别：硕士

2、专业名称：信号与信息处理研究方向：数据处理、数据库论文提交时间：2016-3-23培养单位：南京船舶雷达研究所学位授予单位：中国舰船研究院学位论文原创性声明本人郑重声明：本论文所有研究工作，均在导师指导下由作者本人独立完成。引用的有关观点、方法、数据和文献已在论文中注明，并与参考文献对应。除论文中已注明引用的内容外，本论文不包含任何其它个人或集体已经公开发表的研究成果。对本文研究作出任何贡献的个人和集体，均已在论文中以明确方式注明并表示感谢。学位论文作者签名：日期：年月日中国舰船研究院硕士学位论文摘要海上目标的运动规律可以通过分析雷达及相关设备采集的数据而获得，但是雷达数据的巨大数据量为

3、雷达数据的存储和分析带来了新的困难。分布式并行处理框架Hadoop为存储和分析雷达数据提供了可能。部分目标通过伪装，无法通过民用手段和雷达特效识别，利用异常轨迹分析算法判断异常轨迹，可以发现这些目标。针对雷达数据的海量特性，使用分布式处理框架Hadoop存储处理雷达数据，并设计了异常轨迹分析算法。首先实现了雷达数据的分布式存储，其次分析AIS数据和航迹数据总结目标运动轨迹规律生成全AIS轨迹知识库、单AIS轨迹知识库和全航迹轨迹知识库，并以此为基础利用异常轨迹分析算法提取异常轨迹，分析异常轨迹规律，实现新轨迹是否异常的判断，最后对比不同处理方式的处理效率。结果表明分布式并行处理的处理速度

4、优于集中式处理，并随节点数增加有较大提升。本文实现了有效雷达数据的筛选，雷达数据的高效存储，目标运动和分布规律的发现，以及异常轨迹的判断以及异常轨迹规律的发现。利用MapReduce完成对海量雷达数据的快速分析，挖掘出雷达数据更多的价值。关键词：雷达数据；分布式存储；并行处理；HBase；MapReduceI雷达大数据存储与分析处理技术研究ABSTRACTThemotionlawoftheseatargetscanbeobtainedbyanalyzingdatawhichiscollectedwiththeuseofradarandrelatedequipment,butthehuge

5、amountofdataofradardatabringsnewdifficultiestothestorageandanalysisofradardata.AdistributedparallelprocessingframeworkHadoopforstorageandanalysisofradardatamaybeprovided.Enemytargetconfusesourcommandersthroughcamouflage.wecanfindthesegoalsbyjudgingwhetherthetrajectoryisabnormalwiththeabnormalpath

6、analysisalgorithm.Inviewofthemassivecharacteristicsofradardata,thedistributedprocessingframeworkHadoopisusedtostorageandprocessradardata,andtheabnormalpathanalysisalgorithmisdesigned.Firsttheradardatadistributedstorageisrealized,thenAISdataandtrackdataareanalyzedtosummarizethemotionlawofthetrajec

7、toryofthetargettogenerateknowledgebaseofwholeAIStrajectory,knowledgebaseofsingleAIStrajectoryandknowledgebaseofwholetracktrajectory,andthusbasedontheabnormalpathanalysisalgorithmtoextractabnormaltrajectory,theanalysiso