一种新的复合核函数及在问句检索中的应用

《一种新的复合核函数及在问句检索中的应用》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、第33卷第1期电子与信息学报Vol.33No.12011年1月JournalofElectronics&InformationTechnologyJan.2011一种新的复合核函数及在问句检索中的应用*①①②①王君李舟军胡侠胡必云①(北京航空航天大学计算机学院北京100191)②(新加坡国立大学计算机学院新加坡117590)摘要：问句检索在问答系统中有着重要的作用，其核心问题在于研究查询问句与候选问句之间的相似性计算问题，实现问句之间的高精度匹配。该文采用树核函数的方法计算问句之间的结构相似性，并针对原有算法的不足，做了相应的改进。为降低句法解

2、析器性能对树核函数的影响，该文在改进的树核函数基础上，将其与字符串核结合，提出了一种能同时融合问句的句法信息，词性信息和词序信息的复合核函数，用以计算问句之间的综合语义相似性。在社区问答系统Yahoo!Answer的数据上进行测试，相对传统的基于词频的特征向量法，问句检索平均准确率提高了24.02%。关键词：信息检索；问答系统；问句检索；复合核函数中图分类号：TP391文献标识码：A文章编号：1009-5896(2011)01-0129-07DOI:10.3724/SP.J.1146.2010.00268ANovelCompositeKerne

3、landApplicationtoQuestionRetrieval①①②①WangJunLiZhou-junHuXiaHuBi-yun①(SchoolofComputerScienceandEngineering,BeihangUniversity,Beijing100191,China)②(SchoolofComputing,NationalUniversityofSingapore,Singapore117590)Abstract:Questionretrievalplaysimportantroleinquestionandanswer

4、ingsystems.Themainproblemishowtomeasurethesimilaritybetweencandidatequestionsandqueryquestion.Thispaperpresentsatreekernelbasedmethod,namedweightedtreekernel,tocalculatethesimilarityofsentences’structuresandproposesimprovementstotheoriginaltreekernelalgorithm.Inordertoreduce

5、theeffectontreekernelbringingbysyntacticparsing,acompositekernelisproposedbasedontheweightedtreekernelandtwootherstringkernels,whichcancapturesyntax,part-of-speechandlexicallevelinformationofasentence,tocalculatethesemanticsimilaritybetweenquestionsentences.Experimentalresul

6、tsonYahoo!Answersdatasetshowthattheproposedmethodoutperformstraditionalvectorspacemodelbasedmethodsby24.02%inquestionretrievalaccuacry.Keywords:Informationretrieval;Questionansweringsystem;Questionretrieval;Compositekernel1引言[1]FAQFinder是第1个此技术路线下实现的较大规模的自动问答系统。近年来，随着社区问答系统问

7、答系统是一种自然语言检索，也称作问答式(CommunityQuestionAnswering，CQA)的急速增信息检索。它既能够让用户用自然语言句子提问，长，如百度知道、雅虎知识堂、新浪爱问等，这些又能够为用户返回一个简洁、准确的答案，而不是网站聚集了千万级的可直接下载的问答对，因此更一些相关的网页。考虑到自然语言理解技术的难度多的研究开始转向以这些问答对作为语料库。基于和鲁棒性，问答系统从研究初期就提出并开展了基问答对的问答系统，即从问答对库中搜索出与用户于问答对的技术路线的研究，即从问答对库中检索问题最为相似的已回答问题，并把该相似问答对的

8、出于用户问题最为相似的问答对并把答案部分直接答案部分反馈给用户，其核心问题是研究查询问句反馈给用户的技术路线。(FrequentAskQuestion