资源描述：
《机器翻译原理与方法讲义(04)基于短语的统计机器翻译方法》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。
1、机器翻译原理与方法第四讲基于短语的机器翻译方法刘群中国科学院计算技术研究所liuqun@ict.ac.cn中国科学院计算技术研究所2009年秋季课程内容提要对数线性模型最小错误率训练基于对数线性模型的词语对齐基于短语的翻译模型短语模型的解码算法“丝路”机器翻译系统简介2机器翻译原理与方法(04)基于短语的机器翻译方法统计机器翻译的对数线性模型(1)Och于ACL2002提出，思想来源于Papineni提出的基于特征的自然语言理解方法，该论文获得ACL2002的最佳论文称号不使用信源信道思想，而是采用多特征思想信源信道模型是一
2、种生成模型，而对数线性模型是一种判别模型是一个比信源信道模型更具一般性的模型，信源信道模型是其一个特例原始论文的提法是“最大熵”模型，现在通常使用“对数线性（Log-Linear）模型”这个概念。“对数线性模型”的含义比“最大熵模型”更宽泛，而且现在这个模型通常都不再使用最大熵的方法进行参数训练，因此“对数线性”模型的提法更为准确。与NLP中通常使用的最大熵方法的区别：使用连续量（实数）作为特征，而不是使用离散的布尔量（只取0和1值）作为特征3机器翻译原理与方法(04)基于短语的机器翻译方法假设e、f是机器翻译的目标语言和源
3、语言句子，h1(e,f),…,hM(e,f)分别是e、f上的M个特征，λ1,…,λM是与这些特征分别对应的M个参数，那么直接翻译概率可以用以下公式模拟：统计机器翻译的对数线性模型(2)4机器翻译原理与方法(04)基于短语的机器翻译方法对于给定的f，其最佳译文e可以用以下公式表示：统计机器翻译的对数线性模型(3)5机器翻译原理与方法(04)基于短语的机器翻译方法取以下特征和参数时，对数线性模型等价于噪声信道模型：仅使用两个特征h1(e,f)=logp(e)h2(e,f)=logp(f
4、e)λ1＝λ2＝1对数线性模型vs.噪声信
5、道模型6机器翻译原理与方法(04)基于短语的机器翻译方法方案首先将信源信道模型中的翻译模型换成反向的翻译模型，简化了搜索算法，但翻译系统的性能并没有下降；调整参数λ1和λ2，系统性能有了较大提高；再依次引入其他一些特征，系统性能又有了更大的提高。对数线性模型：Och的实验(1)7机器翻译原理与方法(04)基于短语的机器翻译方法其他特征句子长度特征(WP)：对于产生的每一个目标语言单词进行惩罚；附加的语言模型特征(CLM)：一个基于类的语言模型特征；词典特征(MX)：计算给定的输入输出句子中有多少词典中存在的共现词对。对数线性
6、模型：Och的实验(2)8机器翻译原理与方法(04)基于短语的机器翻译方法实验结果对数线性模型：Och的实验(3)9机器翻译原理与方法(04)基于短语的机器翻译方法噪声模型只有在理想的情况下才能达到最优，对于简化的语言模型和翻译模型，取不同的参数值实际效果更好；对数线性模型大大扩充了统计机器翻译的思路；特征的选择更加灵活，可以引入任何可能有用的特征。对数线性模型的优点10机器翻译原理与方法(04)基于短语的机器翻译方法内容提要对数线性模型最小错误率训练基于对数线性模型的词语对齐基于短语的翻译模型短语模型的解码算法“丝路”机器
7、翻译系统简介11机器翻译原理与方法(04)基于短语的机器翻译方法目的是得到各个特征的参数λ1……λn常见的训练算法GIS（最大熵模型的训练算法）感知机最小错误率(MER)：直接以评测指标（如BLEU）最好为训练目标最大互信息(MMI)：把导致总体BLEU值最高的译文定义为好的译文，其他译文定义为不好的译文，进行判别式训练单纯形算法目前通常使用最小错误率训练算法或单纯形算法对数线性模型的参数训练12机器翻译原理与方法(04)基于短语的机器翻译方法最小错误率参数训练算法FranzJosefOch,MinimumErrorRate
8、TrainingforStatisticalMachineTranslation".In"ACL2003:Proc.ofthe41stAnnualMeetingoftheAssociationforComputationalLinguistics",Japan,Sapporo,July2003.AshishVenugopalandStephanVogel，ConsiderationsinMCEandMMItrainingforstatisticalmachinetranslation,ProceedingsoftheTent
9、hConferenceoftheEuropeanAssociationforMachineTranslation(EAMT-05),Budapest,Hungary,May2005开源工具：http://www.cs.cmu.edu/~ashishv/mer.html（针对BLEU的MER
