数据挖掘在企业历史数据中的应用

《数据挖掘在企业历史数据中的应用》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、数据挖掘在企业历史数据中的应用　　［摘要］企业应用系统在长时间使用后，都会出现数据量增大和应用系统性能下降的现象。本文针对这一状况，提出在清除历史数据前或对历史数据进行归档前，对其进行转移和复制并在可能的情况下构建数据仓库，对企业历史数据进行挖掘的方法。详细介绍了数据挖掘技术的概念、数据挖掘流程和常用的模型，以及数据挖掘在企业历史数据中的主要应用。　　［关键词］数据挖掘；模型；算法　　　　１引言　　　　随着企业信息化应用的不断深入，各种大型应用系统纷纷上线，如ＥＲＰ（ＥｎｔｅｒｐｒｉｓｅＲｅｓｏｕｒｃｅＰ

2、ｌａｎｎｉｎｇ，企业资源计划），ＣＲＭ（ＣｕｓｔｏｍｅｒＲｅｌａｔｉｏｎｓｈｉｐＭａｎａｇｅｍｅｎｔ，客户关系管理），ＳＣＭ（ＳｕｐｐｌｙCｈａｉｎMａｎａｇｅｍｅｎｔ，供应链管理）等，一些小型应用软件及企业内部开发人员开发的应用软件的相继使用，也成为企业信息化的必要补充。这些应用系统规模大小不一，系统架构各异，所使用的数据库也不尽相同，可以是ＯＲＡＣＬＥ，ＳＱＬＳerver，ＤＢ２，ＭＹＳＱＬ等主流数据库，甚至也包含Ｄｂａｓｅ，Ｅxcel等数据源。另外，各种应用的功能模块也不相同，有的多而全，有的小而单

3、一，但主要包含财务管理、客户管理、供应商管理、进销存管理等模块。随着时间的推移，业务记录越来越多，数据库中的数据量也越来越大。对于小型的应用软件，由于系统逻辑相对简单，可以对数据库中的历史数据按照规定进行清除，然后将其快速部署在新的硬件环境上。但是大型应用软件因为系统复杂，尤其是多组织的跨集团公司的应用系统，加上数据的多年积累，应用系统性能每况愈下，此时如果进行数据迁移和应用移植，一般由专业公司来做，而且费力费时，需要长时间的测试然后进行切换。通常的做法是，对历史数据进行定期清除，然后通过添加新的存储设备

4、来改善系统性能。传统应用系统的使用都局限在业务记录层面，首先业务用户录入业务操作记录，然后通过查询或者调用报表来查看业务过程和结果。更深层的应用，是建立在分析的基础上，则可以就某个独立应用的数据库进行数据挖掘，也可以通过数据仓库将企业不同应用系统下异构数据库中的历史数据进行整合，然后进行数据挖掘，让历史数据进一步发挥余热，从而为企业生产经营提供决策支持。数据仓库虽然能整合异构数据源，并对数据进行预先清理，但由于其成本大，实施周期长，故较少采用。一般较经济的做法是，把应用数据库中的数据导入只读的数据库中，以

5、此作为数据集市（ＤａｔａＭａｒｔ），进行数据挖掘。另一方面，随着数据挖掘专用软件技术的日臻成熟及计算机硬件性价比的大幅提高，使得数据挖掘的实施成为可能职称论文。　　　　２数据挖掘技术　　　　数据挖掘（DａｔａMｉｎｉｎｇ）是从大量的、不完全的、有噪声的、模糊的、随机的数据中提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。是以先进的工具软件基于人工智能（ＡＩ）和数学统计分析技术对海量数据根据某种算法进行计算机辅助分析，提取隐含的定性关系的过程，是知识发现（ｋｎｏｗｌｅｄｇｅｄｉｓｃｏｖ

6、ｅｒｙｉｎｄａｔａｂａｓｅ）的关键步骤。　　数据挖掘的流程包括：（１）定义问题，明确数据挖掘的目的。（２）数据准备，包括选择数据在大型数据库和数据仓库目标中提取数据挖掘的目标数据集；数据预处理进行数据再加工，包括检查数据的完整性及数据的一致性、去噪声，填补丢失的域，删除无效数据等。（３）数据挖掘，在净化和转换的数据集上根据选择的算法进行数据挖掘。（４）结果分析，解释和评价数据挖掘结果，并转换为终端用户能够理解的知识。其常用算法包括：神经网络方法、遗传算法、决策树方法、粗集方法、覆盖正例排斥反例方法、统计分

7、析方法和模糊集方法。数据挖掘模型按照功能分为预测模型和描述模型，描述性挖掘任务刻画的数据一般特性；预测性数据挖掘任务在当前数据上进行判断，以便预测。　　数据挖掘用来构建6种模型：分类模型（ＣｌａｓｓｉｆｉｃａｔｉｏｎＭｏｄｅｌ）、衰退模型（ＲｅｇｒｅｓｓｉｏｎＭｏｄｅｌ）、时间序列模型（ＴｉｍｅＳｅｒｉｅｓＭｏｄｅｌ）、聚类模型（ＣｌｕｓｔｅｒｉｎｇＭｏｄｅｌ）、联合分析模型（ＡｓｓｏｃｉａｔｉｏｎＭｏｄｅｌ）和顺序发现模型（ＳｅｑｕｅｎｃｅＭｏｄｅｌ）。前两者被用来作预测，而联合分析模型和顺序发现模型被

8、用来描述行为，聚类模型则被用来描述或预测。分类模型用于提取能代表群体的特征属性，一般用规则或决策树模式表示。聚类模型则将一个群体分成多个类，使同类个体尽可能相似，而不同个体差异尽可能大，聚类分析可以建立宏观的概念，发现数据的分布模式，以及可能的数据属性之间的相互关系。联合分析模型用于发现事物间的关联规则和相关程度，关联分为简单关联、时序关联和因果关联，关联分析的目的是找出数据库中隐藏的关联网，一般用支持度和可信度两个阈值来度量