资源描述:
《第9章:自然语言句法分析》由会员上传分享,免费在线阅读,更多相关内容在行业资料-天天文库。
1、第第99章章句法分析句法分析No.95,ZhongguancunEastRoadhttp://www.ia.ac.cnBeijing100080,ChinaTel.No.:+86-10-62554263NLPR9.19.1概述概述NLPR,CAS-IA2007-5-4宗成庆:《自然语言理解》讲义NLPR9.19.1概述概述任务:句法分析(syntacticparsing)的任务就是识别句子的句法结构(syntacticstructure)。ß例如(前面第四章的例子):他还提出一系列具体措施的政策要点。他/PN还/AD提出/VV一/CD系列/M具体/JJ措施/NN和/CC政策/
2、NN要点/NN。/PUNLPR,CAS-IA2007-5-4宗成庆:《自然语言理解》讲义NLPR9.19.1概述概述(IP(NP-SBJ(PN他))(VP(ADVP(AD还))(VP(VV提出))(NP-OBJ(QP(CD一)(CLP(M系列)))(NP(NP(ADJP(JJ具体)(NP(NN措施)))(CC和)(NP(NN政策)(NN要点))))))(PU。))NLPR,CAS-IA2007-5-4宗成庆:《自然语言理解》讲义NLPR9.19.1概述概述树状表示:IPNPVPPUPNADVPVP。他ADVVNP还提出QPNPCDCLPNPCCNP一MADJPNP和NNNN系
3、列JJNN政策要点具体措施NLPR,CAS-IA2007-5-4宗成庆:《自然语言理解》讲义NLPR9.19.1概述概述ß目标:实现高正确率、高鲁棒性(robustness)、高速度的自动句法分析过程。ß困难:自然语言中存在大量的复杂的结构歧义(structuralambiguity)。NLPR,CAS-IA2007-5-4宗成庆:《自然语言理解》讲义NLPR9.19.1概述概述©结构歧义例如:(1)Isawaboyinthepark.[Isawaboy]inthepark.Isawa[boyinthepark].(2)Isawaboyintheparkwithatelesc
4、ope.(3)Isawaboyswimmingonthebridge.(4)关于鲁迅的文章。(5)把重要的书籍和手稿带走了。NLPR,CAS-IA2007-5-4宗成庆:《自然语言理解》讲义NLPR9.19.1概述概述英语中的结构歧义随介词短语组合个数的增加而不断加深的,这个组合个数我们称之为开塔兰数(Catalannumber,记作C)。N如果句子中存在这样n(n为自然数)个介词短语,C可由下式获得[Samuelsson,2000]:N⎛2n⎞1(2n)!C=⎜⎟=N⎜⎟2⎝n⎠n+1(n!)(n+1)NLPR,CAS-IA2007-5-4宗成庆:《自然语言理解》讲义NLP
5、R9.19.1概述概述ß基本方法:©基于CFG规则的分析方法:•线图分析法(chartparsing)•CYK算法•Earley(厄尔利)算法•LR算法/Tomita算法……-Top-down:Depth-first/Breadth-first-Bottom-upNLPR,CAS-IA2007-5-4宗成庆:《自然语言理解》讲义NLPR9.19.1概述概述©基于PCFG的分析方法PCFG:ProbabilisticContext-FreeGrammar,有时也写作StochasticCFG,SCFG。规则形式:Agα,pNLPR,CAS-IA2007-5-4宗成庆:《自然语言
6、理解》讲义NLPR9.29.2线线图分析法图分析法NLPR,CAS-IA2007-5-4宗成庆:《自然语言理解》讲义NLPR9.29.2线线图分析法图分析法ß三种策略自底向上(Bottom-up)从上到下(Top-down)从上到下和从下到上结合NLPR,CAS-IA2007-5-4宗成庆:《自然语言理解》讲义NLPR9.29.2线线图分析法图分析法ß自底向上的Chart分析算法•给定一组CFG规则:XP→α…α(n≥1)1n•给定一个句子的词性序列:S=W1W2LWn•构造一个线图:一组结点和边的集合;WW12Wn012n-1n•建立一个二维表:记录每一条边的起始位置和终止
7、位置。NLPR,CAS-IA2007-5-4宗成庆:《自然语言理解》讲义NLPR9.29.2线线图分析法图分析法执行操作:查看任意相邻几条边上的词性串是否与某条重写规则的右部相同,如果相同,则增加一条新的边跨越原来相应的边,新增加边上的标记为这条重写规则的头(左部)。重复这个过程,直到没有新的边产生。WWW12n012n-1nNLPR,CAS-IA2007-5-4宗成庆:《自然语言理解》讲义NLPR9.29.2线图分析法线图分析法点规则:用于表示规则右部被归约(reduce)的程度。设有规则:NPgDe