基于olap技术的web日志挖掘方法研究与实践

《基于olap技术的web日志挖掘方法研究与实践》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、上海交通大学硕士学位论文基于OLAP技术的WEB日志挖掘方法研究与实践姓名：王涛申请学位级别：硕士专业：计算机技术指导教师：李建华;李翔20050901上海交通大学学位论文原创性声明本人郑重声明所呈交的学位论文是本人在导师的指导下独立进行研究工作所取得的成果除文中已经注明引用的内容外本论文不包含任何其他个人或集体已经发表或撰写过的作品成果对本文的研究做出重要贡献的个人和集体均已在文中以明确方式标明本人完全意识到本声明的法律结果由本人承担学位论文作者签名王涛日期年月日上海交通大学学位论文版权使用授权书本学位论文作者完全

2、了解学校有关保留使用学位论文的规定同意学校保留并向国家有关部门或机构送交论文的复印件和电子版允许论文被查阅和借阅本人授权上海交通大学可以将本学位论文的全部或部分内容编入有关数据库进行检索可以采用影印缩印或扫描等复制手段保存和汇编本学位论文保密在年解密后适用本授权书本学位论文属于不保密请在以上方框内打学位论文作者签名王涛指导教师签名李建华日期年月日日期年月日上海交通大学工程硕士学位论文摘要随着Internet的普及和WWW的迅猛发展WEB和用户对WEB访问的信息已经成为世界上最大的信息来源之一而信息的爆炸式增长与人们注

3、意力的有限性之间的矛盾也随之加剧WEB数据挖掘是解决这一矛盾的有效手段而WEB日志挖掘是网络信息处理的一门新技术也是数据挖掘在Internet领域的一个重要应用伴随着Internet的迅速发展WEB日志挖掘在电子商务和个性化WEB等方面有着广泛的应用通过挖掘WEB日志可以改善网站的组织结构监控服务器的工作情况改善WEB应用的系统设计为用户提供个性化服务当前WEB日志挖掘的研究大致可以分为三个方向:(1)分析系统性能;(2)改进系统设计;(3)理解用户意图当前研究中大多数在处理日志数据时只是把日志数据经过简单处理直接存

4、放在数据库中能够根据日志数据的特点对日志数据进行有效提取并对其存储状态进行研究的涉及较少WEB日志挖掘方法可以分为基于数据立方体的方法和基于WEB事务的方法WEB日志挖掘中,通过分析挖掘用户访问路径的结果,可以改善站点的设计(如在高度相关的页面之间提供有效的访问改进页面上的链接设计)改进市场决策但现有的用户访问路径挖掘算法大多数没有很好考虑如何结合访问路径的特点来改进算法以得到更好的挖掘结果及挖掘效率第1页上海交通大学工程硕士学位论文本文研究了WEB日志挖掘中的相关技术在以下几方面进行了改进:(1)在WEB日志挖掘模

5、型的基础上根据WEB日志半结构化的特点对WEB日志数据的清洗和转换提出了相应的解决方法将日志文件单元根据不同属性存入数据库2结合OLAP技术的特点我们给出了对WEB日志进行OLAP分析的多维数据模型并进行了分析说明然后我们对WEB日志进行基于OLAP的挖掘并讨论了对数据挖掘结果的分析方法3通过分析一个WEB日志实例发现了用户访问的一些规律对上述概念和推断进行了证明根据关联规则提出序列模式挖掘的可信度的概念利用可信度可以做更好的预测另外还根据用户对页面的访问次数和访问时间提出了用户对页面的兴趣程度的概念关键词WEB日志

6、挖掘日志文件关联规则XMLOLAP第2页上海交通大学工程硕士学位论文STUDIESONWEBLOGDATAMININGMETHODSANDAPPLICATIONBASEDONOLAPTECHNOLOGYABSTRACTBecauseofthepopularityoftheWEBandexplosionofWWW,WEBandWEBusageinformationisbecomingthelargestinformationwarehouse.Sotheconflictbetweenthelimitedhumanatt

7、entionandtheunlimitedinformationisnotable.WEBdataminingisausefulmethodtosolvesuchproblem.WEBlogminingisanewtechnologyofnetworkinformationprocessing,andisalsoanimportantapplicationofdataminingininternetarea.Withtherapiddevelopmentofinternet,theapplicationofWEBlo

8、gminingine-commerceandpersonalizedWEBisincreasingspeedily.MiningandanalyzingWEBlogfilecanbetterthestructureofWEB,monitorWEBimprovethedesignofWEBapplicationsystemandprovidepe