基于行业的个性化搜索引擎的应用

《基于行业的个性化搜索引擎的应用》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、北方工业大学硕士学位论文摘要目前的搜索引擎大多是综合性的，收录各方面、各学科和各行业的信息，在反映专题或专业化信息方面很难做到全、快、准。因此课题完成了基于行业的个性化搜索引擎。该论文总体分为六个部分，首先实现了网络爬虫。网络爬虫从网络上不断爬取网页，分析网页中包含的链接并且进入链接爬取相关联网页，爬取到的网页保存在本地机器中；接着进行网页分析。对网络爬虫爬取到的网页加以分析，去除网页中的控制命令和格式，只保留内容；然后进行切分词语。对保存的内容做中文的词语切分，形成单体的关键词；然后使用倒排表和散列表相结

2、合的技术，对经过切分词语分析之后的网页内容建立词索引；接下来是检索器。对用户输入的查询内容做词语切分，查找网页，对查找的结果进行全面分析并评分，排序输出；最后，将最新的行业信息通过邮件的方式发送给相关的用户。另外，课题还实现了动态的扩展词库，能单个或者批量的添加新词。论文将搜索引擎与行业结合，通过两种方法体现了行业的特性，首先，抓取网页的网络爬虫选用的初始网页是某个行业的中心网页，通过这个行业中心网页可以链接到很多与行业有关的网站；其次，选用这个行业的词库来建立倒排索引。比如医药行业，需要选择医药行业的一个

3、中心网页作为网络爬虫的初始网页和一个医药词库。论文的创新点在于个性化的体现，用户能够通过邮件的方式及时准确的得到感兴趣的行业信息。基于行业的个性化搜索引擎的建立，使查询结果更加行业化、个性化。关键词：搜索引擎，医药行业，网络爬虫，倒排索引北方工业大学硕士学位论文hldiVidualSe鲫chEngille铷)plicationBasedoni11dus时Abs仃aCtAtpres饥t，l湘stofmeqm均ntsearch咄csarecolIr呻既咖觚dcontaillall唧cctsofmedis咖l幽a

4、nd埘u：哪敞嘞撕on，砌chareV吖di伍叫ttobe劬，触觚d∞c啷lteillrenecting吐圮白opicofi11】勋malion．n嵫娟)re}，lnysIIbjoct、)l，in矗nishmes髓rche苴：四．meb硒edoni11dlls时．7111eresearchaboutⅡ圮se砌lellgiIlebasedonindIlst巧isdivi(1I甜h炯丘vepans，Web@Lwler．@1wlonmepageallme妇‰位㈣，a11alyzemelillksillcluded

5、证mep学锄d训il】幻me蛐t0鲥mepages驯oadedinme10calmaChm；SiInph眠知1a1)IZeⅡ1epag髂砌cha阳cra_wledbyWebChwler，砌：110_鸭nlecon舡olordefand角n11atontllepagpaIld凇nainthecontent011ly；A砌yzer．王’Xecutemese酉玳埴ItadonoftheC11mesewordsb鹪。dondleremaill血gC0嫩∞tsinord盯to向mk毋words；C】．鼢teindex

6、、)I，immeke刚l，ordsbymc砌inalionofill：删table趾dhashtable；Search．Ex训ew矾s唧eI_出血onbyt1]呤usefsqlla叮，缸dmepagp，analyze吐1er豁_ultsccI盯呻口Isjve_ly姐dscore，蕊dt量lenso啦ou圭；FiIlally，s甜ld吐lela：testiIl出ls臼黟i11‰a矗ont0幽erel删1】se据byEmail．hladdi石。玛Ⅱ1esubjectalSoacmcveadyllalllicex

7、pallsionof吐1evoca枷a巧wKchyouca咀addsill酉ewordoranewba：tc：hofwor凼．Thepaplerisac0IⅡ1biIla墩mofilldlls时锄ds翩rch既I西ne．田h∞aretwowayst0a11bodyt量lech娥Ict嘶stiCsofⅡ1chius仃y，缸tly，Ⅱ坨iIlitialpagcChoosedbyWebCImwlerisac胁眈websitc址Iout廿leiIldllS仃y，W11ic：hCalllir墩tom锄yi11dl蚓町

8、，州atedsit锊；Secondly，createi11V瞰odindexbyVoc批la巧曲outmeiIldlls时．T址iIlgtllepl捌1I】烈飙lticaliIldlls时弱ane)【锄ple，y(mneedai面tialpage蕊daVoc址越a黟曲}om也epllannac础ieal如dlls时．Theinn()va虹onpomofmep印I盯is也e既nbodiIll咖ofp‘瓢删i够lls