资源描述：
《《句法分析技术》PPT课件.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。
1、第七章句法分析技术什么是句法分析判断输入的词序列能否构成一个合乎语法的句子，确定合乎语法句子的句法结构运用句法规则和其他知识将输入句子中词之间的线性次序，变成一个非线性的数据结构（例如短语结构树或有向无环图）为什么要进行句法分析例一：音字转换例一只小花猫例二：机器翻译例（PrepositionalPhraseAttachment）JanhitthegirlwithlonghairJanhitthegirlwithahammer例三：信息检索例哪个球队获得了亚洲杯冠军？日本队击败中国队获得亚洲杯冠军句法分析的难点句法分析的难点：语
2、法歧义：一个句子对应着几种句法分析结果“咬死了猎人的狗”“那只狼咬死了猎人的狗”“那只咬死了猎人的狗失踪了”汉语句法分析的独特性（朱德熙《语法答问》《语法讲义》）汉语没有形态语序灵活词类和句法成分不存在一一对应的关系汉语句子的构造原则与词组的构造原则基本上是一致的汉语语法形式化工作滞后深层分析与浅层分析句法分析系统一个句法分析系统通常由两部分组成形式语法体系匹配模式短语结构语法扩充转移网络树邻接语法(TAG)基于合一运算的语法（广义短语结构语法、词汇功能语法、功能合一语法、基于中心词驱动的短语结构语法(HPSG)）基于词的语法（
3、链语法、依存语法、配价语法）分析控制机制模式匹配技术基于短语结构语法分析算法（厄尔利（Earley）分析算法、富田胜（Tomida）分析算法、线图（Chart）分析算法、确定性分析算法等等）基于扩充转移网络的分析算法链分析算法概率上下文无关文法（Probabilistic(Stochastic)ContextFreeGrammar）随机上下文无关语法可以直接统计语言学中词与词、词与词组以及词组与词组的规约信息，并且可以由语法规则生成给定句子的概率。定义：一个随机上下文无关语法（PCFG）由以下5部分组成：（1）一个非终结符号集N
4、（2）一个终结符号集∑（3）一个开始非终结符S∈N（4）一个产生式集R（5）对于任意产生式r∈R，其概率为P(r)产生式具有形式X→Y，其中，X∈N,Y∈(N∪∑)*PCFG的三个基本假设CFG的简单概率拓广基本假设位置无关(Placeinvariance)上下文无关(Context-free)祖先无关(Ancestor-free)分析树的概率等于所有施用规则概率之积举例给定如下概率文法G(1)S->AAp1=1/2(2)S->Bp2=1/2(3)A->ap3=2/3(4)A->bp4=1/3(5)B->aap5=1/2(6)B
5、->bbp6=1/2那么：P(tree1)=1/2*2/3*2/3=2/9P(tree2)=1/2*1/3*1/3=1/18P(tree3)=1/2*1/2=1/4P(tree4)=1/2*1/2=1/4PCFG的三个基本问题1、一个语句W=w1w2….wn的P(W
6、G),也就是产生语句W的概率？2、在语句W的句法结构有歧义的情况下,如何快速选择最佳的语法分析(parse)?3、如何从语料库中训练G的概率参数,使得P(W
7、G)最大问题1&2思路运用动态规划以及剪枝技术计算得出一个语句的多个句法分析形式的概率，选择概率最高的结果作
8、为句法分析的结果向内（Inside）算法非终结符A的内部概率（Insideprobability）定义为根据文法G从A推出词串的概率，记为称为向内变量问题11、一个语句W=w1w2….wn的P(W
9、G),也就是产生语句W的概率？向内概率公式独立性假设独立性假设祖先无关假设向内算法（自底向上）输入：G=(S,N,∑,R,P),字符串输出：1、初始化：2、归纳计算：j从1到n，i从1到n-j，重复下面计算3、结束：向内算法计算示例S→NPVP1.0NP→NPPP0.4PP→PNP1.0NP→John0.1VP→VNP0.7NP→bo
10、ne0.18VP→VPPP0.3NP→star0.04P→with1.0NP→fish0.18V→ate1.0NP→telescope0.1向内算法计算示例1234567初始化891011向内算法计算示例初始化1NP→John0.12V→ate1.03NP→fish0.184P→with1.05NP→bone0.18递归计算6VP→VNP0.77PP→PNP1.08S→NPVP1.09NP→NPPP0.410VP→VPPP0.3VP→VNP0.7结束S→NPVP1.0问题2在语句W的句法结构有歧义的情况下,如何快速选择最佳的语法
11、分析(parse)?Viterbi算法输入：G=(S,N,∑,R,P),字符串输出：t*(W在G下最可能的分析树)算法：1、初始化2、动态规划：j从1到n,i从1到n-j,重复如下步骤3、结束t*的根节点为S（文法开始符号）；从开始回溯，得到S的最优树结构记录了
