基于超大规模问答对库和语音界面的非受限领域自动问答系统研究

《基于超大规模问答对库和语音界面的非受限领域自动问答系统研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、斜oFSCI博士学位论文论文题目基于超大规模问．答对库和语音界面的作者姓名学科专业导师姓名完成时闫非受限领域自动问答系统研究王仁华教授二oo七年六月擎～太嗽舞吣熟兰一中国科学技术大学博士学位论文摘要技术的基线问答系统中各个重要环节的验证试验，得到了一系列新颖而有价值的结论：1)传统文档检索的三个主要排序函数(T兀DF，BM25以及基于语言模型的检索函数)中最简单的TFIDF是最适合于问答系统中的问答对排序；2)问答对中的三个不同的信息域(问题Q、问题描述D和答案A)中Q域对问答系统具有绝对重要的贡献，A域次之；3)在中文分词处理方面，D

2、和A域是进行有词典分词的性能更佳，但Q域上是将文本全部切分成单字后构建的问答系统性能最佳。实验表明，最终完成基线问答系统能在仅返回一个答案的条件下能正确回答43．88％的用户问题。第四，在上述基线系统基础上，本文深入地分析了基于用户输入的自然语言问句检索排序问答对的任务与传统的基于关键词检索排序文档任务之间的差别。在1FIDF基础上，本文设计了专门针对问答系统的统一排序函数，并引入四个参数分别控制共现词的词频和IDF、未共现词的IDF以及文档长度等因素对问答对排序的影响，实验表明，这一函数有效地提高了问答系统的性能。同时考虑到更多的属性

3、可以用于问答对排序函数的设计，本文进一步引入了线性加权函数的排序函数形式来有效运用更多属性。本文从每个用户问题和问答对的组合中提取了包括词语语义距离、词语编辑距离、词性、以及二元词语共现情况等多维特征，并引入了基于改进爬山算法的有监督学习策略来实现了排序函数中各维属性权值的自动训练，最终使得问答系统的性能进一步得到了显著提升，在仅返回一个答案条件下，系统能正确回答的用户问题比例达到了52．37％，相对基线系统提升幅度达到19．35％。本文同时还对问答系统的置信度进行了分析，实验表明拒绝返回一部分认为不可信的答案可以提高(但不显著)答复正

4、确率，同时改变有监督学习的训练目标定义，可以有效提高问答系统的置信度估计水平。最后，本文还首次尝试将语音界面引入基于问答对库的非受限领域自动问答系统，实现了问答系统的研究及应用的扩展，本文首先对完全基于语音交互界面的问答系统的价值和挑战进行了分析，指出了基于问答对库技术路线的优势以及语音识别和问答系统间的内在冲突。为了研制语音界面的问答系统SpeechQoogle，本文引入大词汇连续语音识别技术和连续语音合成技术分别完成了对语音输入用户问句的识别和对系统生成文本答案的语音合成。进一步，本文通过定制语音识别中的语言模型和声学模型，使得识别

5、性能基本达到问答系统的应用需求，同时通过实验分析了语音识别结果中的置信度、多候选以及拼音层面的识别结果对问答系统的作用，小幅度提高了语音界面的问答系统的性能。最终36．7％的常见问题可以完全通过语音方式与我们研制的SpeechQoogle问答系统交互获得正确答案，证明了基于问答对技术路线的语音界面的自动问答系统的可行性和前景。中国科学技术大学博士学位论文摘要关键词：问答系统，信息抽取，语音界面，中文处理中国科学技术大学博士学位论文AbstractOwingtotheinventionanddevelopmentoftheIntemet，

6、forthefirsttimeknowledgeandinformationcanbeequallysharedandwidelyspreadallaroundtheworld．Andowingtothesearchengines，suchasGoogleandBaidu，peopleareabletoturnoverallthebillionsofwebpagesontheintemetjustforoneinformationhe／shewants．Currentlythedesiredinformationcanonlybespe

7、cifiedbyoneorseveralkeywords，whichjustsatisfiedthebasicrequirementofinformationretrieval．Inthepastfewyears，researcherske‘ptexploringwhatshouldbethenextgenerationofsearchengine．Duringtheexploration，automaticQuestionAnswering(QA)systemiswi‘lelyconcernedandintensivelyresear

8、chedbecauseofitsabilitytodirectlyanswerpeople’squestionspecifiedbynaturallanguage．Underthisbackground，a