数据挖掘技术在经济统计中的应用管窥

《数据挖掘技术在经济统计中的应用管窥》由会员上传分享，免费在线阅读，更多相关内容在应用文档-天天文库。

1、数据挖掘技术在经济统计中的应用管窥数据挖掘技术在经济统计中的应用管窥自从我国实行改革开放的政策后，我国社会经济不断发展。随着改革开放的深入，十分必要对经济活动进行合情合理的经济分析。数据挖掘技术作为新的统计方法，用来分析社会经济的活动状况，受到社会各界的广泛关注。利用数据挖掘技术分析数据，满足信息使用者的使用需求，推动我国经济又好又快发展。　　一、数据挖掘技术的概念　　随着我国社会经济的进步和发展，数据信息量越来越庞大，如何对这些庞大和繁琐的信息进行处理成为经济统计的难题。传统的数据处理方法已经远远不

2、能满足现在数据使用者的使用需要，所以数据挖掘技术在这种背景下应运而生。数据挖掘技术与传统的数据处理方式存在较大的不同之处。传统的数据处理主要是运用一些数据处理软件，分析经济统计数据，以此来得出经济发展状况。传统的数据处理是简单分析各项数据，停留在数据分析的表面，并没有从深度和广度中进一步分析和处理数据。数据挖掘技术能从庞大的数据信息库中搜索到有价值有品质的数据信息，然后对这些信息进行分析和处理，满足信息使用者的使用需求。数据挖掘技术能解决我国经济发展经济统计困难的窘境，使数据使用者能真正利用好这些对我

3、国经济发展有用的信息。数据挖掘技术能改善数据质量，提高数据利用率，加强数据之间深层次联系。　　二、数据挖掘技术的应用　　（一）预处理方法　　收集到的数据并不一定是齐全的，有些数据是不一致的，有些数据存在噪声，还有些数据存在空值。数据预处理方法是一种最基础的处理方法，它能事先把经济统计数据信息进行预先处理。数据预处理由数据清理、数据集成、数据变换三部分组成。　　数据清理指的是通过一定的方法把经济统计数据信息中不全的、存在噪声和空值的信息给去掉。一般采取的方法有四种本文由.L.收集整理，分别是均值法、平滑

4、法、预测法和频率统计法。具体情况具体分析，对于不同的经济统计数据信息要采取适合的方法。当经济统计数据中的数据存在噪声或数据点是空值的情况时，可以采取均值法进行数据清理。对于数据中的噪声和空值，也可以采取平滑法。平滑法和均值法的不同之处是，平滑法用加权平均数代替了均值法中的平均数，这种方法充分考虑到数据中的每一个数据对数据结果的权重影响。使用平滑法能让计算出的结果更加接近真实值。而均值法是利用均值来填补数据中的空缺，能得到比较高准确度的统计分析数据。这两种方法都有各自不同的特点，要根据实际情况，选取适宜

5、的数据处理方法。　　数据集成是指把各种不同的数据进行集合，使这些不同的数据成为一个集体。数据集成要考虑到既能把各种数据集合起来，又能保证数据的准确性。社会经济的不断发展，导致数据信息量十分庞大。提供数据信息的来源是多方的，既有官方提供的数据信息，又有民间提供的信息，又或者是社会主体提供的数据信息。但数据集成也会出现问题，主要是两个问题，一个是模式集成问题，另一个是冗余问题。模式集成问题是指实体识别存在问题。因为数据挖掘的过程中，多个数据通过多种数据模式呈现出来。冗余问题主要是指数据存在多余，所以要让数

6、据量保持在一个比较低的水平，抛去繁琐的数据。数据挖掘的目的就是通过某种方式方法把经济统计数据以一个最简的状态呈现出来。就数据挖掘本身而言，它就是对经济统计数据进行深一层次的加工，把挖掘出来的数据和其他呈现正相关的数据进行简单优化，为数据使用者提供使用便利，也为数据管理提供管理方便，还为数据决策者提供决策依据。　　数据变换是指通过一定的方式方法把数据变换成符合信息挖掘要求的数据。数据变换包括数据规范化和数据泛化。数据规范化中包含了零均值规范化、最大规范化、最小规范化。数据泛化指用高层次的数据替代低层次的

7、数据。这其中也包括了数据的连续性。现在的处理方法很难连续处理数据，所以就出现了数据的离散化。数据的离散化是指通过划分区间，用标号代替某些数据，以此来达到数据的连续性。在实际计算过程中，要尽量减少数据的收集量，减少数据的收集量被称作概念分层。　　（二）决策树方法　　决策树作为一种快速分类的方法，能使数据以直观的方式呈现出来。在数据挖掘过程中，十分必要对数据进行系统的分析。数据经过系统的分析后，就要进行数据输出，分析数据的输出在数据挖掘中处于很重要的步骤，因为输出的分析数据的数据形式对信息使用者产生很大的

8、影响。经济决策的管理者正是依靠这些数据对经济活动作出规划和决策。　　运用决策树的分类方法进行分类，首先要先构建起完善的决策树结构。第一，建立好分析输出的基本模型，运用训练集建立一棵决策树，并且精简决策树；第二，已经建立完毕的决策树进行数据分类，分类从决策树的根部开始，逐渐到树干、树丫，一直到数据的输入满足设置好的条件才停止，这种过程是一个递归的过程，是一步一步进行的。在实际决策树应用中，实现决策树停止的有两个条件：一个是一个节点上所有的数据全部属于同一个