web数据挖掘及其在信息监控中的应用研究

《web数据挖掘及其在信息监控中的应用研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、大连海事大学硕士学位论文Web数据挖掘及其在信息监控中的应用研究姓名：刘慧申请学位级别：硕士专业：计算机技术指导教师：蒋波;张伟丰20070901中文摘要摘要本文是针对开发网络监控部门所需的信息监控系统的实际研发过程拟就的。随着Web信息的速度增长，有害信息也随之增加。开发一个方便、快捷的监控系统，以便有效地发现Web网页上的有害信息，净化网络环境，是网络信息监控部门急需解决的课题。本文着重论述了开展这一课题研究过程中的相关技术与方法。本文在分析现有信息检索工具所存在的不足的基础上，着重论述了数据挖掘技术及其在Web信息发现中的巨大作用。详细论述了We

2、b信息采集及其存储、文本分类模型的建立、基于文本分类模型的有害信息过滤，以及文本分类模型的不断更新过程中的相关技术与方法。对超链接分析算法用于Web结构挖掘、基于文本分类模型的文本数据挖掘，包括中文分词、向量空间模型、支持向量机方法和KNN方法的文本自动分类算法等，都作了较为深入的分析与研究，并给出了具体实现的算法思路以及实现了～个可以实际运行的系统。作为一个应用实例．本文还对系统的运行结果，作了较为详细的论述。实际结果表明，本文所论述的方法是切实可行的，它能够以较高的准确率和查全率来发现Web页面上的有害信息。这种方法可以推广到Web页面的其它信息的

3、发现中，从而使Web数据挖掘技术具有更加广阔的应用。关键字：数据挖掘：文本挖掘；信息检索；文本分类模型；向量空间模型英文摘要ThestudyandApplicationofWebDataMiningUsinginInformationMonitorSystemAbstractThisthesisiscomposedaccordingtotherealexperienceduringthenetinformationmonitorsystemisdevelopedfornetinformationmommrsections．晰也thegrowthofWe

4、binformation,theharmfulinformationisspeeding叩too．Inordertosolvetheproblemurgentlyforinformationmonitorsccqcions，itisnecessarytobuildamomtorsystemthatcallbeusedtoscarchtheharmfulinformationavailablyinwebpagesandtocleanupthe删environmentqulcHy皿erelatedtechniquesandmethodsthatc雒beus

5、edfordesigninganddevelopinganetinformationmonitorsystema坞discusseddeeplyinthisthesis．Basedonanalyzingtheshortageoftheexistinginformationretrievaltools，somedataminingtechniqueswhichareusedtosearchthewebinformationarediscussedinthisthesis．Then,sometechniquesandmethodsofcoUcctingwe

6、binformation,storingwebinformation,buildingtextcategorizationmodel,filteringtheharmfulinformationaccordingtothetextcategorizationmodel,仃ainingthete)ctcategorizationmodeltobeimprovedandsoon,a咒discussedindetailinthisthesis．Andthen,thePageRankalgorithmwhichisusedinthewebstructuremi

7、ning，thetextcategorizationmodel,includingChinesedepartingwords,vectorspacemodel，supportingvp．J2tDrmethod,whichisusedintextmiIling，theKNNmethodwhichisusedinthete赋锄lt【H斌eg讲iz颉onalgorithma托alsodiscusseddeeply．Finally,asanapplicationexample．anactualsystemisbuiltandtheresultofr．nulng

8、thesystemisalsodiscusedindetail．Asamatteroffact