数据挖掘在气象数据收发监控系统中的应用

《数据挖掘在气象数据收发监控系统中的应用》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、兰州大学信息科学与工程学院数据挖掘在气象数据收发监控系统中的应用摘要本论文的研究基于甘肃省气象局重点研发项目“气象数据收发全网监控系统"完成。开发的《全网监控系统》综合应用了计算机技术的最新研究成果，结合我省气象实时业务的特点，实现了对所有实时气象数据收发的全程、多视角、自动化监控，最大限度地提高了数据传输的可靠性及实时性，减轻业务人员的工作量。同时，系统实现了任意时段、任意类别资料传输质量的统计分析及内部一致性分析，并且根据分析结果找出了实时业务存在的问题，提出了改进建议，为传输质量评估和业务诊断分析提供了依据。本文的主要工

2、作以及创新点有以下几方面：本文在查阅大量资料的基础上，详细介绍了我国气象数据收发全网络监控系统的研究现状、研究内容、相关技术方案；介绍了数据挖掘技术在全网监控系统中的研究现状、应用方法、过程及步骤。通过分析气象领域数据传输现状及用户需求，确定了本项目的研究内容及解决的技术难题，确定数据挖掘技术拟解决的问题(气象数据传输异常点的分析；温度和区域自动站数据采集之间的关联关系；信息传输质量和业务流程或系统稳定性之间的关系)，并提出解决此任务的数据挖掘算法。本文从信息传输的角度，分析了各类气象资料的多种异构数据源的特点(观测频次、文件

3、命名方式、内容格式、内容标识、时空特点及收发平台等)，提出了采用元数据技术实现复杂气象数据的统一管理，本文采用ETL技术，实现不同平台下所有收发数据的抽取、清理、转换、集成和入库存储等工作，为实时监控和主题挖掘奠定了基础。在此基础上，实现统一平台所有收发资料可视化的监控和预警。保证了气象数据收发的及时陛，提高了传输质量。本文尝试通过数据挖掘的方法，解决气象数据的特定问题。提出了“元数据模型下的分类算法”，较好地解决了原有分类算法处理气象数据方面的不足，结合行业领域知识，在模型已知的情况下，重点考虑了数据的动态变化，即数据随业务

4、的变化而变化、随时间、季节的变化而变化。同时减少了原有分类算法繁琐的重复训练过程，极大提高了算法的效率，能够满足现有业务和今后业务拓展的需求。另外，通过孤立点分析和关联分析，发现了很多现有业务系统BUG、业务流程存在的问题，分析了区域自动站数据采集器和温度变化的关系。针对发现的这些问题，提出了改进措施，并在系统中得以实现。从而保证了各类气象资料传输的及时性和完整性，提高了传输质量。通过本文的尝试，利用数据挖掘技术对气象数据实施挖掘是可行的，但要在气象领域广泛使用，还需要针对气象数据和气象工作的特点，提出解决气象问题的专有算法，

5、并要充分利用领域知识对挖掘模式作出评估，解决气象数据挖掘效率低的问题。关键词：气象数据传输监控数据挖掘元数据模型分类ETL关联规则孤立点分析。兰州大学信息科学与工程学院数据挖掘在气象数据收发监控系统中的应用AbstractInthis口aper，b签ed册re∞archiIlG柚suProvinceWreathefBufeaufe∞archanddevelopmentproiectsfocllsedon”thewholenetworkto∞nd柚dreceivedataonmeteorolo西calmonitoringsyst

6、em”tocomplete．Thedevelopmentof”network-widemoIlitoringsystem”acompfehensiVeapplicationofcomputertechnologytothelatestre∞a毋chfindingS，combinedwithreal-tiInebusinessillourprovillcemeteorologicalfeatures，therealizationofallthereal—time、veatherdatato∞ndandreceivefuu，mul

7、ti．perspective，automationcontrol，m瓢imizedataThefeliabilityofthetr柚smissionandreal．time，reducetheoperationalsta住Atthes锄etime，thesystem粕ytime，anytypeofdata仃ansmissionqualitVofthestatiStical柚alysis柚dintemalconsistency柚alysis，andbasedon姐柚alysisoftlleresultstofindoutther

8、eal．timebusiIle豁problemsandputf0唧ardsuggestionsforimprovement，inordertoassessthequalityofthe仃ansmissionanddia毋10sis0fbusiIlessanalysisB於is