一种基于概率上下文无关文法的汉语句法分析

《一种基于概率上下文无关文法的汉语句法分析》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、万方数据中文信息学报第20卷第2期JOURNALOFCIiINF_NEINFORMATIONPROCESSINGV01．20No．2文章编号：1003—0077(2006)02—0001—07一种基于概率上下文无关文法的汉语句法分析林颖，史晓东，郭锋(厦门大学计算机系，福建厦门361005)摘要：本文研究了PCFG独立性假设的局限性。并针对这一局限性提出了句法结构共现的概念以引入上下文信息，给出了计算方法；为了打破中文树库规模过小的局限性，对于句法规则参数的获取，本文利用h1．side-Outside算法进行迭代，最后提出了一个基于统计模型的自顶向下的

2、汉语句法分析器。在封闭测试下，其标记精确率和标记召回率分别为88．1％和86．8％。实验结果表明，这种方法确实能够提高标记的精确率和召回率，值得深入研究。关键词：人工智能；自然语言处理；统计句法分析；概率上下文无关文法；汉语自动分析中图分类号：TP391文献标识码：AAChineseParserBasedOilProbab'llisticContextFreeGrammarLINYing，SHIXiao-dong，GUOFeng(ComputerScienceDepartmentofXiamenUniversity，Xiamen，Fujian36100

3、5，China)Abstract：Ilaispaperstudiesthelimitatiomofprobabilisticcontextfreegrammar，andproposesaconceptofco-occurrenceinsyntaxstmctttre80astousethecontextinformation．ToaddressthelimitationoftheChineseTreebank’Ssmallscale，anIn—side—Outsidealgorithmtoobtaintheparametersofsyntacticrul

4、esisgive．．Atlast，wepresentapmbabilistictop-downChi—ileSepai'ser．Intheclosedtest，wegettheresultthatlabelprecisionandlabelrecallare88．1％and86．8％，showingthatthismethodhaspotentialtogetabetterperformanceinparsinganddeservesfllItherresearch．Keywords：artificialintelligence；naturallang

5、uageprocessing；statisticalparing；pmbabilisticcontext-freegrammar；ChineseNIP1引言句法分析是自然语言理解中一个至关重要的环节。目前的句法分析主要有两种方法：基于规则的方法和基于统计的方法。相比于传统的基于规则的方法，基于统计的分析方法具有更好的灵活性，在处理歧义等不确定性问题方面都有较好的效果。使得统计方法渐渐成为自然语言处理的主流u』。概率上下文无关文法(PCFG)是把统计方法引入到上下文无关语法规则系统而形成的语法规则系统。然而经典的PCFG实际上是建立在一些非常理想化的独立

6、性假设的基础之上的，而这些假设并不符合实际，于是造成了PCFG的实际效果不理想。目前的概率上下文无关语法研究，主要集中在如何突破这些独立性假设上。通过逐步的放宽这些假设，分析的正确率收稿日期：2005—03—13定稿日期12005—07—11基金项目：国家高科技研究发展计划(863)资助项目(2002AAll7010)作者简介：林颖(19r7卜)，女，硕士研究生，主要研究方向为自然语言处理万方数据可以得到很大的提高。汉语是一种孤立语(又称分析语)，与作为曲折语和黏着语的其他一些语言(如英语)相比，汉语在语法上有其自身的一些特点，这些特点对汉语的分析造成

7、了一定的影响，使得汉语分析呈现出和英语以及其他一些语言不同的特点，因此在研究汉语句法分析时不可能完全照用英语的方法，再则，英语方面由于有一个较大规模的UPenn树库，使得对英语的基于统计的句法分析研究比较容易进行，而汉语方面，目前并没有一个较大规模的树库，这使得统计的方法在汉语的句法分析研究上受到了很大的限制，基于以上两个原因，本文主要做了以下工作：利用Inside—Outside算法，从已有的小规模的中文宾州树库中提取规则获得初始概率值，并利用大规模的已分词的并做了词性标注的语料库来对规则进行训练。研究汉语的特点，特别是汉语虚词的特点，引入句法结构共

8、现的概念，最终提出一个基于PCFG统计模型的自顶向下的汉语句法分析器。2概率模型对于一个输入句