基于维基百科的短文本语义扩展方法研究.pdf

《基于维基百科的短文本语义扩展方法研究.pdf》由会员上传分享，免费在线阅读，更多相关内容在应用文档-天天文库。

1、第３１卷第１０期计算机应用与软件Ｖｏｌ３１Ｎｏ．１０２０１４年１０月ＣｏｍｐｕｔｅｒＡｐｐｌｉｃａｔｉｏｎｓａｎｄＳｏｆｔｗａｒｅＯｃｔ．２０１４基于维基百科的短文本语义扩展方法研究１２２，３１，３韩冬雷金花朱亚涛刘金刚１（首都师范大学计算机科学联合研究院北京１０００４８）２（河北农业大学信息科学与技术学院河北保定０７１００１）３（中国科学院计算技术研究所北京１００１９０）摘要面对短文本信息内容稀疏、上下文语境提取困难的挑战，基于维基百科的结构化信息特征，提出一种利用ＮＭＦ算法来扩展短文本语义的方法。通过自动识别与短文本信息语义特征相关的维基百科概念来丰富它的内容

2、，从而有效提高短文本信息数据挖掘和分析的效果。实验结果表明与已有方法相比，应用此方法可以进一步提高短文本信息语义扩展的效率和准确率。关键词短文本非负矩阵分解锚文本语义相似度中图分类号ＴＰ３９３文献标识码ＡＤＯＩ：１０．３９６９／ｊ．ｉｓｓｎ．１０００３８６ｘ．２０１４．１０．０１１ＳＥＭＡＮＴＩＣＥＸＴＥＮＳＩＯＮＯＦＳＨＯＲＴＴＥＸＴＢＡＳＥＤＯＮＷＩＫＩＰＥＤＩＡ１２２，３１，３ＨａｎＤｏｎｇｌｅｉＪｉｎＨｕａＺｈｕＹａｔａｏＬｉｕＪｉｎ’ｇａｎｇ１（ＪｏｉｎｔＦａｃｕｌｔｙｏｆＣｏｍｐｕｔｅｒＳｃｉｅｎｔｉｆｉｃＲｅｓｅａｒｃｈ，ＣａｐｉｔａｌＮｏｒｍａｌ

3、Ｕｎｉｖｅｒｓｉｔｙ，Ｂｅｉｊｉｎｇ１０００４８，Ｃｈｉｎａ）２（ＣｏｌｌｅｇｅｏｆＩｎｆｏｒｍａｔｉｏｎＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｇｙ，ＡｇｒｉｃｕｌｔｕｒａｌＵｎｉｖｅｒｓｉｔｙｏｆＨｅｂｅｉ，Ｂａｏｄｉｎｇ０７１００１，Ｈｅｂｅｉ，Ｃｈｉｎａ）３（ＩｎｓｔｉｔｕｔｅｏｆＣｏｍｐｕｔｉｎｇＴｅｃｈｎｏｌｏｇｙ，ＣｈｉｎｅｓｅＡｃａｄｅｍｙｏｆＳｃｉｅｎｃｅｓ，Ｂｅｉｊｉｎｇ１００１９０，Ｃｈｉｎａ）ＡｂｓｔｒａｃｔＦａｃｉｎｇｔｈｅｃｈａｌｌｅｎｇｅｓｏｆｔｈｅｓｐａｒｓｉｔｙｏｆｓｈｏｒｔｔｅｘｔｃｏｎｔｅｎｔａｎｄｔｈｅｄｉｆｆｉｃｕｌｔｙｉｎｅ

4、ｘｔｒａｃｔｉｎｇｌｉｎｇｕｉｓｔｉｃｃｏｎｔｅｘｔ，ｗｅｐｒｏｐｏｓｅａｓｏｌｕｔｉｏｎｂａｓｅｄｏｎｔｈｅｓｔｒｕｃｔｕｒｅｄｉｎｆｏｒｍａｔｉｏｎｆｅａｔｕｒｅｏｆＷｉｋｉｐｅｄｉａｔｏｅｘｐａｎｄｔｈｅｓｅｍａｎｔｉｃｓｏｆｓｈｏｒｔｔｅｘｔｕｓｉｎｇＮＭＦａｌｇｏｒｉｔｈｍ．ＩｔｅｎｒｉｃｈｅｓｔｈｅｓｅｍａｎｔｉｃｆｅａｔｕｒｅｏｆｔｈｅｓｈｏｒｔｔｅｘｔｉｎｆｏｒｍａｔｉｏｎｂｙａｕｔｏｍａｔｉｃａｌｌｙｉｄｅｎｔｉｆｙｉｎｇｔｈｅｃｏｎｃｅｐｔｓｉｎＷｉｋｉｐｅｄｉａｔｈａｔａｒｅｐｅｒｔｉｎｅｎｔｔｏｉｔ．Ｔｈｅｒｅｂｙ，ｉｔｃａｎｅｆｆｅｃｔ

5、ｕａｌｌｙｉｍｐｒｏｖｅｔｈｅｅｆｆｅｃｔｓｏｆｄａｔａｍｉｎｉｎｇａｎｄａｎａｌｙｓｉｓｏｎｓｈｏｒｔｔｅｘｔｉｎｆｏｒｍａｔｉｏｎ．Ｅｘｐｅｒｉｍｅｎｔａｌｒｅｓｕｌｔｓｄｅｍｏｎｓｔｒａｔｅｔｈａｔｃｏｍｐａｒｅｄｗｉｔｈｅｘｉｓｔｅｄｍｅｔｈｏｄｓ，ｔｈｅｕｓｅｏｆｍｅｔｈｏｄｉｓａｂｌｅｔｏｆｕｒｔｈｅｒｉｍｐｒｏｖｅｔｈｅｅｆｆｉｃｉｅｎｃｙａｎｄａｃｃｕｒａｃｙｏｆｔｈｅｓｅｍａｎｔｉｃｅｘｔｅｎｓｉｏｎｏｆｓｈｏｒｔｔｅｘｔｉｎｆｏｒｍａｔｉｏｎ．ＫｅｙｗｏｒｄｓＳｈｏｒｔｔｅｘｔＮｏｎｎｅｇａｔｉｖｅｍａｔｒｉｘｆａｃｔｏｒｉｓａｔｉｏｎ

6、（ＮＭＦ）ＡｎｃｈｏｒｔｅｘｔＳｅｍａｎｔｉｃｒｅｌａｔｅｄｎｅｓｓ义。语义扩展的第一个阶段是短文本数据处理，主要包括以下０引言步骤：首先提取出短文本数据的所有ｎｇｒａｍ信息，并对短文本的ｎｇｒａｍ进行可链接性剪枝，在剪枝阶段，提取所有ｎｇｒａｍ的基于Ｗｅｂ２．０应用平台，诸如微博、论坛、网上即时消息等可链接性、词频、逆文档频率等特征，并利用ＬＲ（ｌｏｇｉｓｔｉｃｒｅｇｒｅｓ短文本信息流的快速发展。不同于传统的长文本，短文本具有ｓｉｏｎ）进行剪枝模型的学习，最终去掉不相关联语义的ｎｇｒａｍ。以下主要特征：接着是对短文本信息的ｎｇｒａｍ和维基百科概念关联和

7、消歧，即１）短文本中用语大多随意，具有不规范性［１］；采用基于上下文相关的互信息方法将短文本数据剪枝后的２）短文本内容稀疏，很难提取出有效内容特征［１］。ｎｇｒａｍ与维基百科中的概念（锚文本）对应起来。符号描述如表以上特征对短文本信息的挖掘带来了很大困难。针对短文１所示。本内容的稀疏性，将其链接到其它的知识库来扩展内容的研究，表１符号描述表最近受到了越来越多的关注，而将维基百科作为辅助知识库也属性名属性描述成为一个主要的研究方向。目前基于维基百科的研究工作包含Ｍ一条短文本信息［２］［３］［４］了关键词语义扩展，命名实体识别，词义消歧等方面。ＧＳ（Ｍ）Ｍ产生的ｎ