中文词性标注中异构数据问题研究

《中文词性标注中异构数据问题研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、万方数据复旦大学硕_上研宄生学位论文中文词性标注巾异构数据问题研究指导小组成员名单黄萱菁教授邱锡鹏副教授张奇副教授周雅倩讲师万方数据复旦大学硕士研究生学位论文中文词性标注中异构数据问题研宄目录I嘲罂目勇毛⋯⋯⋯⋯⋯⋯⋯⋯．⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯I第一章绪论⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯11．1简介(背景和研究意义】⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯11．2相关工作⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯一31．2．1混合文本与词级别特征⋯⋯⋯⋯⋯⋯⋯⋯

2、⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯61．2。2多语料训练与多任务学习⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯71．3主要贡献⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯一91．4章节安排⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．10第二章中英文混合文本词性标注⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯122．1简介⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．．122．2算法⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯一132．2．1动态特征⋯⋯⋯⋯⋯⋯⋯⋯

3、⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯142．2．2利用动态特征进行标注⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．152．2_3训练算法⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．162．3实验分析⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．182．3．1纯中文词性标注⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．182．3．2中英文混合文本词性标注⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯一192．3．3真实中英文混合文本数据实验⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．．24第三章基于异构训练语料的词性标注⋯⋯⋯⋯⋯⋯⋯

4、⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯273．1简介⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯273．2算法⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．283．2．1建立词性标签间的映射函数⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．．283．2．2基于多任务学习的异构数据联合标注⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．．303．2．3异构数据的模型训练⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．323．2．4分析⋯⋯⋯⋯⋯．⋯⋯⋯⋯⋯⋯⋯．⋯⋯⋯⋯⋯⋯⋯⋯⋯．⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．．353．3实验分析⋯

5、⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯353．3．1数据集和实验设置⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．35万方数据复旦大学硕士研究生学位论文中文词性标注中异构数据问题研宄3．3．2实验结果⋯⋯⋯⋯⋯⋯⋯⋯3．3．3实验分析⋯⋯⋯⋯⋯⋯⋯⋯3．4本章小结⋯⋯⋯⋯⋯⋯⋯⋯⋯第四章总结与展望⋯⋯⋯⋯⋯⋯⋯一4．6总结⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．4．7未来工作⋯⋯⋯⋯⋯⋯⋯⋯⋯参考文献⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯一硕士期间发表的论文⋯⋯⋯⋯⋯⋯⋯一致谢⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯一⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯37⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯38⋯⋯⋯⋯⋯⋯⋯⋯

6、⋯⋯⋯⋯39．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．40⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．．41．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．43．．．．．．．．．．．．．．．．．．．．．。．．．．．．．．．．．．．．47．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．48万方数据复旦大学硕士研究生学位论文中文词性标注中异构数据问题研究摘要本文主要研究中文词性标注中异构数据问题。中文分词和词性标注是中文自然语言处理的基础任务，句法分析和语义分析建立在这些基础任务之上，大量的系统也依赖于这些基础任务的效果，比如对

7、话系统和检索系统中会用到分词算法，信息抽取、关键词提取等算法常利用词性标注的结果。随着研究人员的增加、工业界的发展以及互联网的普及，出现了大量的异构数据和语料。本文主要从两个方面研究这些异构数据：目标数据的异构问题和训练语料数据的异构问题。目标数据的异构问题在词性标注任务中的主要体现在于标注对象是异构的。现今，互联网络的流行、各国文化的融合等因素使得中文文章和对话中常常掺有少量的外文比如英文单词，尤其在电子邮件和互联网的博客与社交网络中。因此，分析研究中英文混合文本就成为了一个重