火龙果软件-第6章Web挖掘技术新

《火龙果软件-第6章Web挖掘技术新》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、Web挖掘的意义Web挖掘的分类Web挖掘的含义Web挖掘的数据来源Web内容挖掘方法Web访问信息挖掘方法Web结构挖掘方法第六章Web挖掘技术从大量的信息中发现用户感兴趣的信息：因特网上蕴藏着大量的信息，通过简单的浏览或关键词匹配的搜索引擎得到的是孤立而凌乱的“表面信息”，Web挖掘可以发现潜在的、丰富的关联信息。将Web上的丰富信息转变成有用的知识：Web挖掘是面向Web数据进行分析和知识提取的。因特网中页面内部、页面间、页面链接、页面访问等都包含大量对用户可用的信息，而这些信息的深层次含义是很难被用户直接使用的，必须经

2、过浓缩和提炼。对用户进行信息个性化：网站信息的个性化是将来的发展趋势。通过Web挖掘，可以达到对用户访问行为、频度、内容等的分析，可以得到关于群体用户访问行为和方式的普遍知识，用以改进Web服务方的设计，提供个性化的服务。Web挖掘的意义Web挖掘依靠它所挖掘的信息来源可以分为：Web内容挖掘（WebContentMining）：对站点的Web页面的各类信息进行集成、概化、分类等，挖掘某类信息所蕴含的知识模式。Web访问信息挖掘（WebUsageMining）：Web访问信息挖掘是对用户访问Web时在服务器方留下的访问记录进行

3、挖掘。通过分析日志记录中的规律，可以识别用户的忠实度、喜好、满意度，可以发现潜在用户，增强站点的服务竞争力。Web挖掘的分类Web结构挖掘（WebStructureMining）：Web结构挖掘是对Web页面之间的链接结构进行挖掘。在整个Web空间里，有用的知识不仅包含在Web页面的内容之中，而且也包含在页面的链接结构之中。对于给定的Web页面集合，通过结构挖掘可以发现页面之间的关联信息，页面之间的包含、引用或者从属关系等。WeB挖掘是一个宽泛的概念，可以简单地描述为：针对包括Web页面内容、页面之间的结构、用户访问信息、电子

4、商务信息等在内的各种Web数据，应用数据挖掘方法以帮助人们从因特网中提取知识，为访问者、站点经营者以及包括电子商务在内的基于因特网的商务活动提供决策支持。Web挖掘的含义Web挖掘与信息检索两种截然不同的观点：Web上的信息检索是Web挖掘的一个方面：Web挖掘旨在解决信息检索、知识抽取以及更宽泛的商业问题，是Web上IR技术的延伸。这种观点大多来自于数据挖掘研究领域。Web挖掘是智能化的信息检索：对于IR领域的研究人员来说，Web挖掘是IR研究向着智能化的方向发展的结果。信息检索可能经常被说成是Web挖掘的初级阶段，是为了强

5、调Web挖掘不是简单的信息索引或关键词匹配技术，而是实现信息浓缩成知识的过程，它可以支持更高级的商业决策和分析。Web挖掘与信息抽取Web上的IE的研究目的是希望从众多的Web文挡中抽取可供分析的信息，与Web挖掘的关系也有不同的观点：IE是Web挖掘整个过程的一部分：这是因为Web上的数据一般是半结构化或无结构的，因此需要进行规格化的信息抽取这样的预处理。Web挖掘是IE的一个特殊技术：既然IE是希望把Web蕴藏的信息抽取出来，那么Web挖掘或者文本挖掘只不过是达到这个目的的特殊技术手段。信息抽取经常被说成是Web挖掘的一个

6、预处理阶段，那是因为在数据挖掘领域，Web挖掘的更广义的理解应该是一个知识提取的完整过程。Web挖掘的数据来源是宽泛的：凡是在Web站点中对用户有价值的数据都可以成为它挖掘的数据源。由于这些对象的数据形式及含义的差异，其挖掘技术会不同。一些比较有代表性的数据源有：服务器日志数据在线市场数据Web页面Web页面超链接关系Web挖掘的数据来源服务器日志数据对Web服务器的访问，服务器方将会产生3种类型的日志文件：Serverlogs：记录用户的访问时间、IP地址以及请求等信息。Errorlogs：存取请求失败的数据，例如丢失连接、

7、授权失败或超时等Cookielogs：Cookie是由web服务器产生的记号并由客户端持有，用于识别用户和用户的会话。Cookie是一种标记，用语自动标记和跟踪站点Web的访问者。这些日志用于记录用户访问的基本情况，是进行Web访问信息挖掘的主要数据源。FieldDescriptionDateDate，time，andtimezoneofrequestClientIPRemotehostIPand/orDNSentryUsernameRemotelognameoftheuserBytesBytestransferred(sen

8、tandreceived)ServerServername，IPaddressandportRequestURIqueryandstemStatushttpstatuscodereturnedtotheclientServicenameRequestedservicename