浅论数据挖掘与水文现代化

《浅论数据挖掘与水文现代化》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、浅论数据挖掘与水文现代化1数据挖掘1」数据挖掘技术的产生随着数据库技术的迅速发展以及数据库管理系统的广泛应用，人们积累的数据越来越多。激增的数据背后隐藏着许多垂要的信息，人们希望能够对其进行更高层次的分析，以便更好地利用这些数据。1=1前的数据库系统可以高效地实现数据的录入、杏询、统计等功能,但无法发现数据小存在的关系和规则，无法根据现有的数据预测未來的发展趋势。川数据库來存储数据，川机器学习的方法來分析数据，挖掘大量数据背后的知识，这两者的结合促成了数据挖掘的产生［1］。数据挖掘是一门交叉性学科，涉及到人工智能、机器

2、学习、数理统计、神经网络、数据库、模式识别、粗糙集、模糊数学等等多个领域。数据挖掘技术包括算法和技术，数据、建模能力3个主要部分［2］。1.2数据挖掘的演进过程数据挖掘其实是一个逐渐演变的过程。电子数据处理的初期，人们就试图通过某些方法來实现自动决策支持，当时机器学习成为人们关心的焦点。尔后，随着神经网络技术的形成和发展，人们的注意力转向知识工程，专家系统就是这种方法所得到的成果。2（）世纪80年代，人们在新的神经网络理论的指导下，重新M到机器学习的方法上，并将其成果应川于处理大型商业数据库，而月.出现了一个新的术语K

3、DD（Knowledgediscoveryindatabase,泛指从源数据屮发掘模式或联系的方法）。人们用KDD来描述幣个数据发掘的过程，包括最开始的制定业务目标到最终的结果分析，而用数据挖掘（Datamining，简称DM）来描述使用挖掘算法进行数据挖掘的子过程。DM侧重数据库角度，KDD侧重人工智能角度⑴。数据挖掘的核心模块技术丿力经了数十年的发展，其小包括数理统计、人工儈能、机器学习。数据挖掘技术在当丽的数据仓库环境中进入了实用阶段。1.3数据挖掘的定义数据挖掘的定义为从数据库中发现隐含的、先前不知道的、潜在有

4、用的信息，是在数据库技术、机器学习、人工智能、统计分析、模糊逻辑、人丄神经网络和专家系统的基础上发展起來的新概念和新技术，是指从大量的、不完全的、冇噪声的、模糊的、随机的实际应川数据屮提取隐含的、未知的、潜在的、有用的信息和知识的过程。更广义的说法是［2］：数据挖掘意味着在一些事实或观察数据的集合小寻找模式的决策支持过程。数据挖掘与传统分析（如查询、报表、联机应川分析）的本质区别是，数据挖掘是在没有明确假设的前提下去挖掘信息、发现知识。数据挖掘所得到的信息应具有先未知、有效和可实用3个特征。先前未知的信息是指该信息是预

5、先未曾预料到的，即数据挖掘是要发现那些不能靠直觉发现的信息或知识，甚至是违背点觉的信息或知识，挖掘出的信息越是出乎意料,就可能越有价值［1］。2马克威分析系统简介马克威分析系统是中国第一套完全自主知识产权，集统计分析、数据挖掘和网络挖掘于一体的数据分析系统。它可以与现有的信息管理系统（MIS）进行集成，在保护现有设备的情况下，节约数据挖掘项冃的开支。该系统由数据输入、数据处理、统计分析、数据挖掘、统计制图和电子报表等六大功能模块组成，各模块特点为：（1）灵活多变的数据输入方式。输入方式包括从界面直接输入、直接打开数据文

6、件、使川数据向导将数据库中的数据导入到分析平台上等，并R与所冇主流数据库实现了无缝连接,例如Oracle>DB2>Sybase>SQLServer^MysqRInformix>Access等。（2）丰富的数据处理功能。包括数据合并、数据拆分、插入或删除记录、记录处理、权重设置、多维查询、分类汇总、数据抽样、变量计算、缺失值填充、异常值删除、记录排序、变最类型转换、行列转换、随机数生成等。（3）统计分析是该系统的核心模块2—，有基础统计和高级统计可选。基础统计包括均值分析、交叉表、频率分析、描述分析、一元方差分析、参数T

7、检验、单样木T检验、独立样木T检验、配对样本T检验、相关分析、非参数检验等；高级统计包括M归分析、聚类分析、判别分析、因子分析、时间序列分析、多因素方差分析等。（4）数据挖掘模块提供了冃前市场上较为完备的挖掘方法。包括神经网络、决策树、关联规则、模糊聚类、粗糙集、支持向最机、孤立点分析等。（5）数据信息的可视化是信息应用的发展趋势。统计制图模块包括直线图、条状图、柱状图、闘饼图、ifii积图、排列图、误差图、序列图、散点图、自相关图、互相关图、控制图等。（6）统计报表模块主耍针对中国用户。它将主要和常用的报表按照国家统

8、计局的常规模式设定成格式，为用户白动牛成表格，包含内设的系统模板以及用户&设的用户模块两类。3水文现代化与数据挖掘针对我国存在的洪涝灾害、水资源短缺、水环境恶化、水七流失等有关水的问题，水利部提出了从传统水利向现代水利、町持续发展水利转变，以水资源的可持续利用支撑经济社会可持续发展的治水新思路，并对水利现代化提出了基本要求[5]。