基于HMM和BP网络混合模型的web文本信息抽取分析

《基于HMM和BP网络混合模型的web文本信息抽取分析》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、-致谢...........................................................................................................64---摘要随着Internet的发展，web上的信息正爆炸式增长，由于信息的无序性以及人们不满足于自己去检索必要的信息，等等诸如此类的需求推动了web文本信息抽取的研究。但是目前信息抽取中使用的主要技术，存在一些问题，比如自适应性不好，统计能力不强等，造成抽取结果中的准确性和召回率较低，通过分析以上问题，本文提出了一

2、种基于混合模型的方法，能较好的改善上述问题，提高抽取质量。本文通过介绍在文本信息抽取领域使用的两种主要技术：隐马尔可夫模型(HMM)和BP网络，并分析了二者的优缺点，HMM是一种优秀的统计学模型，其优越的时序性，动态性和优秀的建模能力已经使得该模型成功应用于各个领域，但其适应性交差，并需要大量的训练数据；BP网络有优秀的决策能力，对不确定信息的描述能力以及自适应性较强，但是该模型时序性不强，而且需要特定的输入条件。在此基础上研究如何通过隐马尔科夫模型和神经网络模型的结合，来提高目前信息抽取方法的准确性和召回率。通过分析发现，两种模型在优

3、缺点上互补，将HMM与BP网络结合在一起，可以即克服HMM在分类能力以及适应性上的不足，又可以弥补BP网络需要特定输入和建模能力弱等缺陷。在分析了前人对信息抽取技术的改进后，本文采用对待抽取文本进行分块的方法，首先将文本进行人工标注，然后对各状态进行多HMM训练，将HMM训练后的最佳状态输出概率作为BP网络的输入，在BP网络中进行映射，运用BP网络分类能力强的特点对文本状态进行映射分类。实验结果表明，该混合模型比传统的HMM模型或者BP网络的分类能力在准确率上有了约15%的提高，在分析了实验结果以及网络结构的基础上，通过对BP网络的算法

4、进行改进，使得在抽取过程中，分类效果尚不明显的易混淆状态在准确率上又有了4%左右的提高。关键字：信息抽取；隐马尔可夫模型；BP网络；混合模型-1----ABSTRACTWiththedevelopmentofinternet，thewebinformationisontheexplosivegrowth.thedisorderofinformationandpeoplearenotsatisfidwiththeirowntoretrievethenecessaryinformation.soonandsoneedstopromoteth

5、ewebinformationextractioninthetext.Butatpresentthemainuseofinformationextractiontechnologyhavesomeproblems.suchaspoorself-adapter,statisticalcapacityisnotstrong,sothisproblemsbroughtabouttherecallrateandtheaccuracyislower.Byanalysistheaboveproblems，thispaperpresentakindo

6、fmethod—thehybridmodel,thismodelcanbettersolvetheaboveproblemsandimprovetheextractionquality.Thispaperdescribesthefieldofinformationextractioninthetextusingtwomaintechniques:HiddenMarkovModel(HMM)andtheBPnetwork,andanalyzestheadvantagesanddisadvantagesofboth,HMMisagoodst

7、atisticalmodel,thismodelhavethesuperiortemporal.Dynamicandexcellentmodelingcapabilitieshavemadethemodelsuccessfullyusedinvariousfieldsbutitspooradaptability,andrequiresalotoftrainingdata.theBPnetworkhasgooddecision-makingability,andthecapacityofdescriptionofuncertaininfo

8、rmationarestrung。Sinceadaptability,butthetimingofthemodelisnotstrong,andrequirespecificinputconditions。