船舶监控系统中实时数据清洗技术研究

《船舶监控系统中实时数据清洗技术研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、中图分类号：TP391论文编号：102871616-S016学科分类号：081200硕士学位论文船舶监控系统中实时数据清洗技术研究研究生姓名李苗学科、专业计算机科学与技术研究方向信息系统及集成指导教师谢强南京航空航天大学研究生院计算机科学与技术学院二О一六年一月NanjingUniversityofAeronauticsandAstronauticsTheGraduateSchoolCollegeofComputerScienceandTechnologyTheResearchofReal-timeDataCl

2、eaningintheShipMonitoringSystemAThesisinComputerScienceandTechnologyByLiMiaoAdvisedbyAssociateProf.XieQiangSubmittedinPartialFulfillmentoftheRequirementsfortheDegreeofMasterofEngineeringJanuary,2016南京航空航天大学硕士学位论文摘要随着航运船舶数量的逐年增加，人们对船舶航行安全的要求也在不断提高。对船舶设备运行状态进行

3、实时监控是确保船舶安全运行的主要技术手段之一。由于船舶设备数量大、型号多、工作环境恶劣和采集仪器自身误差，导致采集到的监控数据中不可避免地存在冗余、缺失等问题，影响对船舶设备运行状态的正确判断。因此本文重点研究船舶监控系统中实时数据清洗技术，主要解决监控数据中的冗余问题和缺失问题。本文主要研究内容如下：（1）进行了船舶监控系统的需求分析，设计了系统的总体框架，阐述了系统的关键技术。（2）针对船舶采集数据中的冗余问题，提出一种基于SNM的改进冗余数据消除算法。针对传统SNM算法中滑动窗口大小难以选取的问题，采用可

4、伸缩和可变速窗口，在对记录进行匹配时既可以避免漏配，也减少了不必要的记录比较。对于原算法中字段匹配准确率不高的问题，采用余弦相似度匹配算法，提高匹配精度。在记录比较过程中提出Top-k有效权重过滤算法，减少字段匹配次数，提高检测效率。经过实验证明该优化算法无论在召回率还是准确率上都取得了良好的应用效果。（3）针对船舶采集数据中的缺失问题，提出一种基于KNN的改进缺失数据填补算法。传统KNN算法在每一次计算样本距离时都需要考虑整个样本集，在处理高维数据时时间消耗大，针对此缺陷提出改进的复相关系数倒数赋权法对数据集

5、进行简化操作，大大降低计算复杂度。对于KNN算法中欧式距离在计算K个近邻时存在的不足，提出将马氏距离与灰色关联分析两类方法相结合，使样本中离散型和连续型属性值都得到有效处理。最后计算填补值时，引入熵权概念，通过熵权值设置每个近邻相关属性的权重，增加填补值的客观性和准确性。实验证明该算法无论在填补数值的准确性还是稳定性上都取得很好的效果。（4）结合了船舶监控系统的开发过程，给出了系统关键技术的具体实现及主要功能的应用情况，应用表明论文的研究成果是有效的。关键词：船舶监控，数据清洗，冗余数据，缺失数据，SNM算法，

6、KNN算法i船舶监控系统中实时数据清洗技术研究AbstractWiththeincreaseofthenumberofshippingvesselsinrecentyears,thesafetyrequirementsoftheshipnavigationarealsoimproving.Real-timemonitoringoftherunningstateofship'sequipmentisoneofthemaintechnicalmeanstoensurethesafetyoftheshipnaviga

7、tion.duetothelargenumberanddifferentcategoriesofthedevices,theharshmaritimenavigationenvironmentandthepossiblefaultyofacquisitioninstrument,therewillinevitablyexistredundantandmissingdatainthewholemonitoringdatasetcollectedwhichmaycausethewrongjudgmentofthes

8、ailingstateoftheship.Sothisthesisfocusesonthereal-timedatacleaningtechnologyofshipmonitoringsystem,whichmainlysolvestheproblemofredundantandmissingdatainthemonitoringdataset.Themainresearchconte