基于维基百科的短文本特征扩展及分类算法研究

《基于维基百科的短文本特征扩展及分类算法研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、中图分类号论文编号０６０。００２１０１６３．学科分类号５？密汲２０．２０２０？＊义考嗦乂净ＴＩＡＮＪＩＮＵＮＩＶＥＲＳＩＴＹＯＦＴＥＣＨＮＯＬＯＧＹ硕ｚｂ学位论义基于维基百科的短文本特征扩展及分类算法研究ＲｅｓｅａｒｃｈｏｎＳｈｏｒｔＴｅｘｔＦｅａｔｕｒｅ一ａｎＥｘｓｉｏｎａ打ｄＣｌａｓｓｉｆｉｃａｔｉｏｎＡｌｏｒｉｔｈｍｆｐｇ‘Ｂａｓｅｄｏｎ气山曲．．．．ｍｉＭｌ－■－ｊｍＵ｜＿础．＂ｕ撫ｓｌ．．…．，惠ＭｆｆＨ三ｍＭｒｎＭＩＢＩＩＷｌｌｉｌｉｍｉｔｅｍ

2、［—：－ｉ立－；Ｔ计龍群郎术以Ｓ程ｌｉｉｉｉ计龍科学与技术■■■注；里秦觀誠麵ｊＷ赵德新副教授天津理工大学研究生院二０…六年Ｈ月姑名Ｊ牲采巧本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得的研巧成果，除了文中特别加标注和致谢之处外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得义津理工火学或一其他教育机构的学位或证书而使用过的材料。与我同工作的同志对本研究所做的任何贡献均己在论文中作了明确的说明并表示了谢意。学化冷文作者签《：杂祝為ｈ签李日期；克如年３月長日

3、＾文软权使狡枚学隹為书巧理工了解天用学位论文本学位论文作者完全津大学有关保留、使理工的规定。特授权义大ｘ部学可ｙ将学位论文的全部或分内容编入津行检，、、，有关数据库进索并采用影印缩印或扫描等复制手段保存汇编。供查阅和借阅同意学校国家口或构送交论文的电子向有关部机复本和文件。（保密的学位论文在解密后适用本授权说明）１＾学化备文签為导签名作者币ｇ期司司可：月签期：？签＾月文拿年＾李年３＞分类号：TP391520.2020密级：天津理工大学研究生学位论文基于维基百科的短文本特征扩展及分类算法研究（申请硕士学位）学科

4、专业：计算科学与技术研究方向：信息检索作者姓名：秦靓靓指导教师：赵德新2016年1月ThesisSubmittedtoTianjinUniversityofTechnologyfortheMaster’sDegreeResearchonShortTextFeatureExpansionandClassificationAlgorithmBasedonWikipediaByLiangliangQinSupervisorDexinZhaoJanuary2016摘要随着计算机和移动手持设备的广泛应用，短文本信息呈现爆炸式的增长。如何快速有效地实现短文本的自动分

5、类，是目前信息领域亟待解决的问题。短文本的长度在160字以内，具有实时性、海量性、稀疏性、表达形式不规范以及样本分布不均衡等特点，这使得传统的文本分类算法在短文本中不能表现出较好的分类效果。针对短文本的分类问题，本文在短文本特征扩展和分类算法等方面做了以下研究：首先，针对短文本样本分布高度不均衡，传统的文本分类器难适用等问题，本文提出了基于集成算法思想的Bagging_NB和Bagging_BSJ算法。主要是根据Bagging的算法原理，分别将弱分类器NB算法和算法NB、SVM、J48结合后的算法作为基分类器训练分类模型。这种改进不仅能有效地提高单一分类

6、器的泛化能力，而且能避免过拟合问题，将弱分类器转化为利于短文本分类的强分类器。实验结果表明，本文提出的Bagging_BSJ算法其准确率提高了12%，召回率提高了28%，F值提高了20%左右。其次，针对词项间的语义关系量化问题，本文提出了一种基于维基百科文本和链接信息的语义相似度计算方法—WLA。受到基于维基百科的明确语义分析和链接信息计算方法的启发，WLA算法综合考虑了维基百科主题页面内的文本信息和链接结构，提取摘要段的文本信息和整个页面内的链接信息(入链接和出链接)，分别进行语义相似度计算，然后以不同的权重将这两种语义相似度计算相结合，作为两个词项间

7、的语义关系量化模型。WLA算法为后文短文本特征扩展模型中的语义扩展提供了理论依据。最后，针对短文本的特征稀疏性，本文将维基百科作为外部语义知识库，提出了两种短文本特征扩展模型。一种是对维基百科主题页面内的文本信息进行预处理，将得到的特征词项向量作为短文本特征的扩展词表，这个过程称为维基扩展；另一种是基于WLA语义关系模型，计算主题特征词与维基扩展向量中各元素间的语义相似度，选择相似度高的词项组成短文本主题特征的扩展词表，称为语义扩展。实验结果表明，与未进行特征扩展的原始短文本数据相比，本文提出的两种扩展模型在准确率、召回率等方面均有显著提高，其中，语义扩

8、展表现最优。本文的研究不仅在一定程度上有效弥补了短文本特征稀疏、语义匮乏等缺陷，