基于语义与最大匹配度的短文本分类研究_孙建旺

《基于语义与最大匹配度的短文本分类研究_孙建旺》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、２０１３年１０月计算机工程与设计Ｏｃｔ．２０１３第３４卷第１０期ＣＯＭＰＵＴＥＲＥＮＧＩＮＥＥＲＩＮＧＡＮＤＤＥＳＩＧＮＶｏｌ．３４Ｎｏ．１０基于语义与最大匹配度的短文本分类研究孙建旺，吕学强，张雷瀚（北京信息科技大学网络文化与数字传播北京市重点实验室，北京１００１０１）摘要：为了解决基于ＶＳＭ方法在进行短文本分类时存在的严重数据稀疏问题，提出了基于语义与最大匹配度的短文本分类方法。以《知网》为知识源，设计了基于义原距离、义原深度与区域密度的义原相似度计算方法，实现基于词类的词语相似度计算；提出

2、了基于语义与最大匹配度的方法计算短文本相似度，应用ＫＮＮ算法进行短文本分类。实验结果表明，该方法与基于语义、基于ＡＤ＿ＮＢ等方法相比，正确率、召回率和Ｆ值均得到了明显的提高。关键词：短文本分类；义原相似度；词语相似度；语义；最大匹配度；ＫＮＮ算法中图法分类号：ＴＰ３９１．１文献标识号：Ａ文章编号：１０００－７０２４（２０１３）１０－３６１３－０６ＳｈｏｒｔｔｅｘｔｃｌａｓｓｉｆｉｃａｔｉｏｎｂａｓｅｄｏｎｓｅｍａｎｔｉｃｓａｎｄｍａｘｉｍｕｍｍａｔｃｈｉｎｇｄｅｇｒｅｅＳＵＮＪｉａｎ－ｗａｎｇ，ＬＸｕｅ－ｑｉａｎｇ，ＺＨＡＮＧＬｅｉ－ｈａｎ（ＢｅｉｊｉｎｇＫｅｙＬａｂｏｒａｔｏｒｙｏｆＩｎｔ

3、ｅｒｎｅｔＣｕｌｔｕｒｅａｎｄＤｉｇｉｔａｌＤｉｓｓｅｍｉｎａｔｉｏｎＲｅｓｅａｒｃｈ，ＢｅｉｊｉｎｇＩｎｆｏｒｍａｔｉｏｎＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｇｙＵｎｉｖｅｒｓｉｔｙ，Ｂｅｉｊｉｎｇ１００１０１，Ｃｈｉｎａ）Ａｂｓｔｒａｃｔ：ＴｏｄｅａｌｗｉｔｈｔｈｅｓｅｒｉｏｕｓｄａｔａｓｐａｒｓｅｎｅｓｓｐｒｏｂｌｅｍｅｘｉｓｔｓｉｎｔｈｅｔｒａｄｉｔｉｏｎａｌＶＳＭｍｅｔｈｏｄｏｆｃａｒｒｙｉｎｇｏｕｔｓｈｏｒｔｔｅｘｔｃｌａｓ－ｓｉｆｉｃａｔｉｏｎ，ａｓｈｏｒｔｔｅｘｔｃｌａｓｓｉｆｉｃａｔｉｏｎｍｅｔｈｏｄｂａｓｅｄｏｎｔｈｅｓｅｍａｎｔｉｃｓａｎｄｍａｘｉｍｕｍｍａｔｃｈｉｎｇｄ

4、ｅｇｒｅｅｉｓｐｕｔｆｏｒｗａｒｄ．Ｔｈｅｐｒｉｍａｒｙｓｉｍｉｌａｒｉｔｙｃａｌｃｕｌａｔｉｏｎｍｅｔｈｏｄｉｓｄｅｓｉｇｎｅｄｂａｓｅｄｏｎｔｈｅｄｉｓｔａｎｃｅ，ｔｈｅｄｅｐｔｈａｎｄａｒｅａｄｅｎｓｉｔｙ．ＷｏｒｄｓｉｍｉｌａｒｉｔｙｃａｌｃｕｌａｔｉｏｎｉｓｃａｒｒｉｅｄｏｕｔａｃｃｏｒｄｉｎｇｔｏｉｔｓｐａｒｔｏｆｓｐｅｅｃｈａｎｄＨｏｗＮｅｔｉｓｕｔｉｌｉｚｅｄａｓａｓｏｕｒｃｅｏｆｋｎｏｗｌｅｄｇｅ．Ｔｈｅｓｈｏｒｔｔｅｘｔｓｉｍｉｌａｒｉｔｙｃａｌｃｕｌａｔｉｏｎｂａｓｅｄｏｎｔｈｅｍｅｔｈｏｄｏｆｃｏｍｂｉｎｉｎｇｔｈｅｓｅｍａｎｔｉｃｓａｎｄｍａｘｉｍｕｍｄｅｇｒｅｅｉｓ

5、ｐｒｏｐｏｓｅｄ．ＫＮＮａｌｇｏｒｉｔｈｍｉｓａｐｐｌｉｅｄｔｏｔｈｅｓｈｏｒｔｔｅｘｔｃｌａｓｓｉｆｉｃａ－ｔｉｏｎ．Ｅｘｐｅｒｉｍｅｎｔａｌｒｅｓｕｌｔｓｓｈｏｗｔｈａｔｔｈｅｐｒｅｃｉｓｉｏｎ，ｒｅｃａｌｌａｎｄＦ－ｍｅａｓｕｒｅａｒｅｓｉｇｎｉｆｉｃａｎｔｌｙｉｍｐｒｏｖｅｄｉｎｃｏｎｔｒａｓｔｗｉｔｈｔｈｏｓｅｏｆｔｈｅｍｅｔｈｏｄｂａｓｅｄｏｎｔｈｅｓｅｍａｎｔｉｃｓ，ＡＤ＿ＮＢａｎｄｓｏｏｎ．Ｋｅｙｗｏｒｄｓ：ｓｈｏｒｔｔｅｘｔｃｌａｓｓｉｆｉｃａｔｉｏｎ；ｐｒｉｍａｒｙｓｉｍｉｌａｒｉｔｙ；ｗｏｒｄｓｉｍｉｌａｒｉｔｙ；ｔｈｅｓｅｍａｎｔｉｃｓ；ｍａｘｉｍｕｍｍａｔｃｈｉｎｇｄ

6、ｅｇｒｅｅ；ＫＮＮａｌ－ｇｏｒｉｔｈｍ［３］该方法的分类结果也可能是变化的；Ｓｒｉｒａｍ等人提出了０引言一种使用作者信息和ｔｗｅｅｔｓ内部特征的Ｔｗｉｔｔｅｒ短文本分为了能够有效地组织和分析海量的短文本信息，人们类方法，取得了较好的效果，但该方法采用手工方式寻找［４］希望能够按照内容对短文本进行分类，于是便产生了短文类别特征，通用性较差；Ｄｕａｎ等人利用与待分类微博文本分类问题。短文本分类是对内容比较短的文本（通常不本相关的其它微博来丰富待分类微博文本的内容，应用［１］。短文本内容较短、特征稀疏超过１６０个字）进行分类ＬＢＰ、ＲＬ以及ＩＣＡ３种不同的基于图形的分类模型进行短等特点，导致目前针对

7、短文本分类的效果不佳。文本分类研究，一定程度上解决了数据稀疏的问题，但该在短文本分类领域，国外学者取得了一定的成果。方法需要构建一个庞杂的关系网，而且含有相同标签的文［２］Ｓｕｎ提出一个简单的、可伸缩的和非参数的短文本分类方本属于同一主题的假设在实际应用中很难得到满足。在国法，充分利用信息检索技术，通过网上投票的方法来对短［５］内，针对短文本分类的研究尚处于起步阶段。孙学琛等文本进行分类，但由于搜