双向词典和语义相似度计算相结合的词对齐算法

《双向词典和语义相似度计算相结合的词对齐算法》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、文章编号：2095-1248（2015）02-0067-08双向词典和语义相似度计算相结合的词对齐算法尹宝生，杨阳（沈阳航空航天大学人机智能研究中心，沈阳110136）摘要：基于统计的词对齐方法需要大规模的双语语料作为输入，难以避免数据稀疏的问题并且算法时间开销大。针对句子或段落级的实时性对齐需求，提出了一种基于双向词典和语义相似度计算的高效词对齐算法，通过采用动态组块切分和匹配、基于知网的语义相似度计算、基于最大匹配的冲突消解和剪枝消歧等策略，有效地解决了由于翻译的灵活性和多样性带来的近似译文的词对齐问题

2、。实验表明，该算法不仅继承了基于词典词对齐算法的优点，同时还改进了传统基于词典词对齐算法的不足，有效提升了词对齐的正确率和召回率，在小规模双语语料和实时性对齐方面具有更好的适用性。关键词：词对齐；双向词典；动态组块切分和匹配；语义相似度计算中图分类号：ＴＰ391文献标志码：Ａdoi：10．3969／ｊ．ｉｓｓｎ．2095-1248．2015．02．014Word-alignmentalgorithmcombinedwithbidirectionaldictionaryandsemanticsimilarit

3、ycalculationＹＩＮＢａｏ-ｓｈｅｎｇ，ＹＡＮＧＹａｎｇ（ＲｅｓｅａｒｃｈＣｅｎｔｅｒｆｏｒＨｕｍａｎ-ＣｏｍｐｕｔｅｒＩｎｔｅｒａｃｔｉｏｎ，ＳｈｅｎｙａｎｇＡｅｒｏｓｐａｃｅＵｎｉｖｅｒｓｉｔｙ，Ｓｈｅｎｙａｎｇ110136，Ｃｈｉｎａ）Abstract：Ｗｏｒｄ-ａｌｉｇｎｍｅｎｔｂａｓｅｄｏｎｓｔａｔｉｓｔｉｃａｌｍｅｔｈｏｄｒｅｑｕｉｒｅｓａｌａｒｇｅ-ｓｃａｌｅｂｉｌｉｎｇｕａｌｃｏｒｐｕｓａｓｉｎｐｕｔ，ｓｏｉｔｉｓｄｉｆｆｉｃｕｌｔｔｏａｖｏｉｄｔｈｅｐｒｏｂｌｅｍｏｆｄａｔａｓｐ

4、ａｒｓｅａｎｄｔｈｅａｌｇｏｒｉｔｈｍｔｉｍｅｏｖｅｒｈｅａｄ．Ｔｈｉｓｐａｐｅｒｐｒｅｓｅｎｔｓａｎｅｆｆｉｃｉｅｎｔｗｏｒｄ-ａｌｉｇｎｍｅｎｔａｌｇｏｒｉｔｈｍｂａｓｅｄｏｎｂｉｄｉｒｅｃｔｉｏｎａｌｄｉｃｔｉｏｎａｒｙａｎｄｓｅｍａｎｔｉｃｓｉｍｉｌａｒｉｔｙｃａｌｃｕｌａｔｉｏｎｔｏｓａｔｉｓｆｙｔｈｅｄｅｍａｎｄｆｏｒｒｅａｌ-ｔｉｍｅａｌｉｇｎｍｅｎｔｏｆｓｅｎｔｅｎｃｅｏｒｐａｒａｇｒａｐｈｌｅｖｅｌ．Ｔｈｅａｐｐｒｏｘｉｍａｔｅｔｒａｎｓｌａｔｉｏｎｏｆｗｏｒｄ-ａｌｉｇｎ-ｍｅｎｔｐｒｏ

5、ｂｌｅｍｄｕｅｔｏｔｈｅｆｌｅｘｉｂｉｌｉｔｙａｎｄｄｉｖｅｒｓｉｔｙｏｆｔｒａｎｓｌａｔｉｏｎｃａｎｂｅｅｆｆｅｃｔｉｖｅｌｙｓｏｌｖｅｄｂｙｔａｋｉｎｇｄｙｎａｍｉｃｂｌｏｃｋｓｅｇｍｅｎｔａｔｉｏｎａｎｄｍａｔｃｈｉｎｇ，ｓｅｍａｎｔｉｃｓｉｍｉｌａｒｉｔｙｃａｌｃｕｌａｔｉｏｎｂａｓｅｄｏｎｔｈｅＨｏｗＮｅｔ，ｔｈｅｃｏｎｆｌｉｃｔｒｅｓｏｌｕ-ｔｉｏｎｂａｓｅｄｏｎｔｈｅｍａｘｉｍｕｍｍａｔｃｈｉｎｇａｎｄｔｈｅｐｒｕｎｉｎｇｄｉｓａｍｂｉｇｕａｔｉｏｎ．Ｃｏｍｐａｒｅｄｗｉｔｈｔｈｅｓｔａｎｄａ

6、ｒｄａｌｇｏ-ｒｉｔｈｍ，ｔｈｅｅｘｐｅｒｉｍｅｎｔａｌｒｅｓｕｌｔｓｓｈｏｗｔｈａｔｔｈｅａｃｃｕｒａｃｙｒａｔｅａｎｄｒｅｃａｌｌｒａｔｅｃａｎｂｅｅｆｆｅｃｔｉｖｅｌｙｉｍｐｒｏｖｅｄｂｙｔｈｉｓａｌｉｇｎｍｅｎｔｍｅｔｈｏｄｏｎａｓｍａｌｌ-ｓｃａｌｅｂｉｌｉｎｇｕａｌｃｏｒｐｕｓａｎｄｒｅａｌ-ｔｉｍｅａｌｉｇｎｍｅｎｔｗｉｔｈｂｅｔｔｅｒａｄａｐｔａｂｉｌｉｔｙ．Keywords：ｗｏｒｄ-ａｌｉｇｎｍｅｎｔ；ｂｉｄｉｒｅｃｔｉｏｎａｌｄｉｃｔｉｏｎａｒｙ；ｄｙｎａｍｉｃｂｌｏｃｋｓｅｇｍｅｎｔ

7、ａｔｉｏｎａｎｄｍａｔｃｈｉｎｇ；ｓｅｍａｎｔｉｃｓｉｍｉｌａｒｉｔｙｃａｌｃｕｌａｔｉｏｎ双语语料库（ＢｉｌｉｎｇｕａｌＣｏｒｐｕｓ）包含两种不同语言间的互译信息，是基于统计（Ｓｔａｔｉｓｔｉｃ-收稿日期：2014-10-08基金项目：辽宁省百千万人才基金项目（项目编号：04021401）作者简介：尹宝生（1975-），男，辽宁沈阳人，副教授，主要研究方向：知识管理和机器翻译，Ｅ-ｍａｉｌ：ｙｂｓ@ｇｅ-ｓｏｆｔ.ｃｏｍ。68沈阳航空航天大学学报第32卷［1］Ｂａｓｅｄ）机器翻译和基于实例（Ｅｘａｍｐｌｅ

8、-行了研究，如文献［10］基于深度神经网络探索了［2］Ｂａｓｅｄ）机器翻译的重要知识源之一，被广泛应一种新的词对齐模型；文献［11］从约束双语命名用于词典编纂、词义消歧和命名实体识别等自然实体之间的对齐角度出发，提出了一种改进词对语言处理任务。然而，未经任何处理的双语语料齐结果的方法；文献［12］提出的基于对偶分解的库（即生语料，ＲａｗＣｏｒｐｕｓ）不能直接应用在相关词对齐搜索算法，其基本思想是将复杂的问题分的自