中文url信息自动提取算法的研究与实现

《中文url信息自动提取算法的研究与实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、北京邮电大学硕士学位论文中文URL信息自动提取算法的研究与实现姓名：陈翔申请学位级别：硕士专业：计算机科学与技术指导教师：陈行益20090216北京邮电大学硕士学位论文中文URL信息自动提取算法的{iJf究．!j实现中文URI．信息自动提取算法的研究与实现摘要随着互联网在全球的迅速普及，互联网上信息的数量以几何级数的数量增长，人们能够获取的信息量超过了人工搜索的能力。搜索引擎的出现正是顺应了这个潮流。搜索引擎的功能就是返回给用户最接近用户查询结果的网页。搜索引擎在返回给用户结果的时候，最重要的一步是对网页的排序。而排

2、序的重要依据之一是网页本身与查询关键字之间的相关度。网页的URL是网页的一个重要组成部分。如果能从网页的URL上提取出跟网页本身有关的相关信息，对于关键词的相关度的计算是一个很有力的帮助。本文分析了网页URL的组成规律，主要是中文网站URL的构成特点，对这些URL的构成方式进行了详细的分类，并且在此基础上提出并实现了一种高效的中文信息自动提取算法。关键字：搜索引擎；排序；中文URL；信息提取北京邮电大学硕士学位论文中文URL信息自动提取算法的研究弓实现StudyandImplementationofChineseIn

3、formationExtractionfromChineseURLAbstractAstheIntemetbecomesmoreandmorepopularintheworld,theinformationamountintheInternetisexploding,whichhasexceededtheeapabilityofpeopletosearchbyhand．Tosolvethisproblem，searchenginecomesout，whichisabletogiveuseranswersthatism

4、ostclosetotheirsearchkeywords．Sortingisoneofthemostimportantstepswhensearchenginegivesusersthesearchingresult．Meanwhile，sortingdependsonhowclosethewebpageistothekeywords．Asapartofthewebpage，URLcontainssomeusefulinformationaboutthewebpage．’IfWCcangetsuchinformat

5、ion，itwouldbeagreathelpforbettersortingthesearchingresult．ThispaperanalysistheconstructionrulesofU肌especiallyChineseURL．Basedontheanalysis，WeproposedandimplementedahighperformancealgorithmtoextractChineseinformationfromChineselTRI，．Keywords：Searchengine；Sorting

6、；ChineseURL；InformationExtractionIII北京邮电大学硕上学位论文中文URL信息自动提取必法i't,'JBf究与实现独创性(或创新性)声明本人声明所呈交的论文是本人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得北京邮电大学或其他教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。申请学位论文与资料若有不实之处，本

7、人签名：罩车狗本人承担一切相关责任。日期：j亟}≠与卜关于论文使用授权的说明学位论文作者完全了解北京邮电大学有关保留和使用学位论文的规定，即：研究生在校攻读学位期间论文工作的知识产权单位属北京邮电大学。学校有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许学位论文被查阅和借阅；学校可以公布学位论文的全部或部分内容，可以允许采用影印、缩印或其它复制手段保存、汇编学位论文。(保密的学位论文在解密后遵守此规定)保密论文注释：本学位论文属于保密在一年解密后适用本授权书。非保密论文注北京邮IU大学硕：上学位论文中文UR

8、L信息自动提取算法的研究与实现1．1．研究背景第1章绪论随着信息技术的飞速发展，互联网上的资源呈几何级数的增长。从1994年万维网的出现到现在，人类至少产生了几百亿的网页，并且这个数据在不断快速增长。要在这样海量的数据中查找信息，无异于大海捞针。直到搜索引擎的出现，查询信息才变的方便快捷。“1搜索引擎的原理，理论上可以看作三步：从互联网上抓取网