日志挖掘中的数据预处理

《日志挖掘中的数据预处理》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、第20卷第4期计算机技术与发展Vol.20No.42010年4月COMPUTERTECHNOLOGYANDDEVELOPMENTApr.2010日志挖掘中的数据预处理方杰,朱京红(合肥工业大学计算机与信息学院,安徽合肥230021)摘要:日志信息的预处理是日志挖掘任务中的重要阶段,是当前研究的重点,同时也是整个日志挖掘过程的基础和实施有效挖掘算法的前提,在日志挖掘中起着重要的作用。目前主要的日志挖掘主要采用国外的几种软件,而日志挖掘中重要的数据预处理软件国内暂无。文中主要介绍了数据挖掘中的日志挖掘,分析了数据预处理的过程,以及如何实现日志挖掘中的数据预处理,并在De

2、lphi开发工具中成功完成了IIS文本日志文件到Xls格式及XML格式文件的转换,实现了日志挖掘中的数据预处理。关键词:XML;日志挖掘;数据预处理中图分类号:TP311;TP39文献标识码:A文章编号:1673-629X(2010)04-0017-04DataPretreatmentofLogMiningFANGJie,ZHUJing2hong(SchoolofComputer&Information,HefeiUniversityofTechnology,Hefei230021,China)Abstract:Loginformationpreprocessing

3、isanimportantstageofthelogminingtask,whichisthefocusofcurrentresearch.Itisalsothewholebasisoflogminingprocessandtheimplementationoftheprerequisiteofaneffectiveminingalgorithm.Inthelogmining,itplaysanimportantrole.Logminingiscurrentlythemaintoolisthenumberofforeignsoftware,andlogsimport

4、antdataminingsoftwareinternal2lynopretreatment.Thispaperintroducesdatamininginthelogmining,adetailedanalysisofthedatapre-processingprocess,aswellashowtologthedatapre-processingmining,andDelphidevelopmenttoolsinthesuccessfulcompletionoftheIISlogfiletotextformatandXMLformatXlsdocumentcon

5、version,toachievethelogminingindatapreprocessing.Keywords:XML;logmining;datapretreatment[2]0引言挖掘的精确数据。随着Internet的发展应用,WWW上的信息量剧增,其中包含了大量的数据信息。如何从访问的Web1日志挖掘中的数据预处理日志数据中快速地抽取用户感兴趣的访问模式,通过Web用户访问Web服务器时,Web服务器会自动对服务器日志的分析和挖掘获取用户访问路径及关注创建访问日志信息,包括访问日志、引用日志、代理日点,以便优化站点结构,为用户提供个性化Web服务,志、错误

6、日志等文件。文件里包含了大量的用户访问提高用户查找信息的质量和效率和进行个性化服务信息,如所访问用户的IP地址、访问日期和时间、访问等,这就是目前Web日志挖掘的重点研究方向[1]。方法(或)、访问结果、URLGETPOST访问的信息大当前Web日志挖掘一般包含以下三个阶段:数据小等。以微软的IIS产生的访问日志文件为例,其日预处理阶段、模式发现、模式分析。志文件包含数据形式为“:2009-3-208:26:25127.而数据预处理是日志挖掘中最重要阶段,是后续0.0.1GET/vv/10-01.xml200”,其中关键字段以空数据挖掘和分析能否顺利进行的前提和关键

7、。数据预格分割,可以看出日志文件包含的信息只是普通的文处理是为了将日志文件转换成数据库文件而进行的工本形式,并非符合关系型数据库的结构模型,而目前的作,其目的是把Web日志数据转换为适合进行数据数据挖掘一般是建立在关系型数据库基础上的,因此为了实现挖掘,首先就需要对日志文件的预处理,将日志文件转换为可以方便挖掘的数据库文件。日志源文收稿日期:2009-07-09;修回日期:2009-10-18基金项目:国家自然科学基金(60705015)件如图1所示。作者简介:方杰(1980-),男,安徽霍邱人,硕士研究生,合肥师范数据预处理对于数据挖掘非常重要,在日志中存学院