基于链接分析的web组合分类器研究

《基于链接分析的web组合分类器研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、摘要论文从网页自身的结构化信息出发，分析和改进W曲分类的相关环节：网页表达、特征选择和分类算法；从网页之间的链接信息出发，讨论了结合分类技术的排序算法，并在此基础上，综合考虑结构化信息和链接信息，将基于链接分析的级联组合分类器作为研究重点．主要工作包括以下方面：(1)提出了标签词频加权标引法，综合考虑不同标签中的特征词反映网页主题的差别以及特征词在整个特征空间中的比例，对网页表达进行改进．(2)研究一种基于一定类别空间阈值的MI+CHI联合特征选择法，该算法弥补了CHI选择法的缺陷：过滤指定类别中出

2、现频率低，其它类别中出现频率高的词；提高特定类中出现的低频词的权重．(3)提出了基于N．GI锄模型对N莉eBaycs的改进算法，一定程度上改进N砬veBav豁的特征相关性问题．(4)研究一种使用分类技术改进的排序算法．借助预分类技术增强Page黜mk与Hits算法在计算网页中的链接所指向页面的重要性的能力，使得重要程度高的网页对于同一类别或相关类别的其它网页具有更好的类别调整能力，进而提高网页分类的精确度．(5)提出了两种可行的组合分类器策略(SVl悯、NB帅旧)，分类器由两层分类器级联组成，传统纯

3、文本分类器作为一级分类器，基于超链接分析的分类器作为二级分类器，前一级分类器的分类信息用于指导下一级分类器的训练和分类过程．(6)研究一种基于类别归并的组合分类方法，对训练集的一些小类别和交叉类别进行归并，重组类别集，采用二级分类器对原始训练集和新训练集进行分类，解决由训练信息过少，类别信息交叉带来的训练不均衡问题．关键词：词频加权，N元文法，链接分析，组合分类，类别归并AbstI·actTllisp印盯锄alys豁锄diIllpr0V懿webcl弱sificationtIcc：honologyba

4、sed∞webstructI

5、I司inf．0珊撕on，鲫ch嚣：web懿p蕾鹪sion、fe毒曲心selectionandcla豁ific撕∞a190rimm；Thcrankal鲥tllmb勰ed∞we；bd够sifi训ontechIⅪlogyisdiScI塔∞dbased0nhyp盯IiIlkiIl细ma虹∞，触more，tlleaIticlef．0c嘴∞scqu∞∞combinedd嬲si丘e璐b鹪odonh)1'erliI墩觚alysiscombillillgthe灿c删觚dh)哩)erlir

6、ll【iIl矗脚a60n．ThcmailIcon缸jbll：tionsinclude：(1)AccordiIlgtot11ediflj锄m∞ofdi岱静enttag’s∞咖ribution觚dmep∞portion0f做曲∞s】pa％姐a190ritllInb舔od伽缸喀舭qu触cywei咖cdispmposedtoiIIlprove廿lewebIpageexpr豁sion．(2)Analg砥tt姐t11atMI+CHIb嬲ed傩cl嬲sspaccⅡl

7、髑holdisdis哪sedto触chupmc

8、dc俄tofCHI，meMI+CHIfe舭selectionc觚矗lt贸mewo豳nlath孙rehigh置bequencyinspIecialcategD矗za缸onb毗10wf}equencyinmostcateg嘶z硝0ns，al∞，in∞％∞也ewcightofthelow自equ∞cywordilIsp∞ialcate90rization．(3)ANaNeBay髂A190ri也mB弱cd∞N一笋ammodelisproposcdto∞lvetllc邮bl锄∞哪edbyfIe砷盯鹤’rela

9、tivi够(4)A咖kinga190ritlllnilIlpmvedbyd舔si矗cali∞isdisc峭scdtoeIlll觚∞tllcabilit)，ofcalcul蚰gmeimp(斌锄ceofwcbpag：e'meinlpoItantw曲lpagcofnlegiVen钟埘撕ved弱shave纰be懈abil时t0嫡似med弱si五c撕∞’sr咖lt谢m龇a190rinlm．(5)n旧d勰sifie鹤combinalionsb眦egyisproposedilI廿坞artide(SVM斗-NB、N

10、B+NB)，me姗_ll缸矗勰Si6盯isconStitutedbytwosequ∞∞d越sifie您，n蟛缸rstcl勰sifi盯is锄ditionmtextcl弱si6％廿地secondo∞isad鹤sifiefb勰e佃hyp盯IiIll【如a1)，Sis，thefilstonepr0讥deel锄髓I协盯cl嬲sifi训on托sultstoguidemcs饫姗ndone’ss锄y觚dcl鹤si石cation．(6)Amethodbasodondassset11Il