试论中文网页自动分类技术研究

《试论中文网页自动分类技术研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、桂林工学院硕士学位论文中文网页自动分类技术研究姓名：周瑛申请学位级别：硕士专业：计算机应用技术指导教师：陈基漓20080401桂林工学院硕士学位论文摘要随着科学技术的飞速发展，人们进入了数字信息化时代，同时，电子信息急剧膨胀。在这个时代，信息就是财富，信息决定成败。只有及时获取准确、有效的信息，才能跟上时代的步伐。因此，对于浩如烟海的信息，帮助人们从中获取准确、有效的信息成为信息处理领域的一个重要研究课题。网页是电子信息的载体，其自动分类由此成为这个领域的一个重要研究方向。相对于人工分类，它能够大

2、大节省时间、物力和财力，还能提高自动分类的准确率和召回率。简言之，研究实现中文网页自动分类不仅对于帮助人们快速、准确获取所需信息具有积极的意义，而且对于推动和发展中文信息检索技术也有重要意义。本文首先介绍了论文的课题背景、意义和国内外的研究现状，概述了文本自动分类相关理论、主要技术和重要算法，在此基础上，简述中文网页自动分类，再重点分析中文网页自动分类的关键技术，包括网页格式的转换、中文分词技术、特征项选择方法、遗传算法降维和自动分类方法等。对于网页格式的转换，本文通过分析网页的结构信息，针对其特

3、点利用开源软件提取对分类有一定贡献的文本信息：对于中文分词技术，采用分词性能良好的海量中文智能分词功能基础件研究版进行分词；分词结束后，先组合文本频数和z2统计法进行初步的特征项选择，再根据分词结果结合网页结构信息特点改进TF．IDF权重公式，使用改进后的公式对特征项权重调整之后进行特征项的二次选择，然后，用文本表示模型表示网页。这样，网页就转化成了文本，网页自动分类也就转化为了文本自动分类；在综合比较了当前几个典型的网页自动分类算法之后，本文选取了分类方面表现出色的支持向量机方法。在特征项选择过

4、程中降低特征向量维数方面，本文采用了目前已应用于许多领域的具有全局优化能力的遗传算法。特征T旬量降维后，将其用支持向量机方法训练构造SVM多类分类器。实验结果表明，与用不降维的特征向量训练构造的SVM多类分类器相比，用降维后的特征向量训练构造的SVM多类分类器，其对网页进行自动分类的准确率和召回率都有～定程度的提古同。关键词：中文主题网页自动分类，文本自动分类，特征项选择，遗传算法，网页自动分类算法桂林工学院硕士学位．论文AbstractAlongwiththerapiddevelopmentof

5、scienceandtechnology,thehumanhaveaccessedtOthedigitalinformationera．Atthesametime，theelectronicinformationinflatesdramatically．Inthistime，informationisthewealth，andinformationwoulddetermineSuccessorfailure．Onlytimelyaccesstotheeffectiveandaccurateinfo

6、rmation，canwekeepupwiththepaceofthetimes．Therefore，howtohelpthepeopletogaintheaccurateandeffectiveinformationfromthevoluminousinformationbecomesanimportantresearchsubjectinthefieldofinformationprocessing．Websiteisthecarrierofelectronicinformation，SOth

7、eautomaticwebsitecategorizationbecomesallimportantresearchdirectionofthisdomain．ComparedtOmanualclassification，itcansavethetime，human，materialandfinancialresourcesgreatly，andimprovetheaccuracyrateandrecallrateofthecategorization，too．Inshort，theresearc

8、hontheChinesewebsiteautomaticcategorizationnotonlyhaspositivesignificanceforhelpingpeopletoaccesstotheirrequiredinformationfastandaccurately，butalsoisimportanttothepromotionanddevelopmentofChineseinformationretrievaltechnology．Thispaperfirstly