《基于半监督和深度学习的生物实体关系抽取》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。
乂連殘＾义聋ＤＡＬＩＡＮＵＮＩＶ巧ＳＩＴＹＯＦＴＥＣＨＮＯＬＯＧＹ损±享恆巧文Ｍ乂ＳＴＥ民ＡＬＤＩＳＳＥＲＴＡＴＩＯＮＳＨＥ鐵基于半监督和深度学习的生物实体关系抽取计算机应用技术作者姓名指导教师＿＿＿＿２０１６答辩日期＿＿＿＿＾＿＿ 硕击学位论文基于半监督和深度学习的生物实体关系抽取ＢｉｏｍｅｄｉｃａｌＥｎｔｉｔｙ民ｅｌａｔｉｏｎＥｘｔｒａｃｔｉｏｎＢａｓｅｄｏｎＳｅｍ＾ｓｕｅｒｖｉｓｅｄｐＬｅａｒｎｉｎａｎｄＤｅｅＬｅａｒｎｉｎｇｐｇ作者姓名：冯钦林学科、专业：计算机应用技术学号：２１３０９巧７指导教师：杨志豪教授２０－－完成日期１６４２８：乂连巧义乂＃Ｄａｌｉａ打ＵｎｉｖｅｒｓｉｔｙｏｆＴｅｃｈｎｏｌｏｇｙ 大连理工大学学位论文独创性声明作者郑重声明：所呈交的学位论文，是本人在导师的指导下进行研究工作所取得的成果。尽我所知，除文中已经注明引用内容和致谢的地方外，本论文不包含其他个人或集体己经发表的研究成果，也不包含其他己申请学位或其他用途使用过的成果一。与我同工作的同志对本研究所做的贡献均己在论文中做了明确的说明并表示了谢意。若有不实之处，本人愿意承担相关法律责任。学位论文题目：基于半监督和深度学习的生物实体关系抽取：＞易日期：年／月／Ｘ日作者签名 大连理工大学硕±学位论文摘要近年来，随着生物医学文献的快速增长，生物文献中的信息抽取技术已经得到广泛的研究，目前为止，生物医学文献信息抽取中的大部分工作都涉及到关系抽取。生物领域中的关系抽取主要集中于从生物医学文本中识别出生物医学实体名称（蛋白质、药物、－－），进而提取生物实体之间的语义关系病症、病症疾病、基因等。本文主要研究疾病治疗物质和蛋白质关系抽取，提出了基于半监督学习和深度学习的方法分别解决实体抽取过程中存在的缺少标注语料集和人工特征构建的问题。为了解决在疾病－病症和病症－治疗物质关系抽取中缺乏语料集的问题，本文采用Ｃｏ－Ｔｒａ－－－ｉｎｉｎｇ和。ｉＴｒａｉｎｉｎｇ两个半监督学习的方法构建疾病病症模型和病症治疗物质ｏ－Ｔｒａ－模型。在训练过程中使用特征核、图核和树核作为Ｃｉｎｉｎ和ＴｒｉＴｒａｉｎｉｎｇ方法的输ｇ一入视图－Ｔ。在Ｔｒｉｒａｉｎｉｎｇ的训练过程中采用组合学习的方法将分类器集成在起。实验－Ｔｒａ－结果表明，ＣｏｉｎｉｎｒｉＴｒａｉｎｉｎ语料集少的ｇ和Ｔｇ方法都可Ｗ利用未标注语料集在初始－情况下提升训练性能ａｎｉｎｏ－Ｔａｎｉｎ。。并且在实验中Ｔｒｉ打ｉｇ方法的性能要优于Ｃｒｉｇ方法使用半监督学习方法进行疾病－－病症和病症治疗物质关系抽取时，需要构建大量的人工特征，送些特征的质量直接影响实验结果。而且大量人工特征的构建既费时又费力。针对这个问题－－，本文提出了基于卷积神经网络的疾病病症和病症治疗物质关系抽取的方法。该方法可从输入语料中自动学习特征，获取特征的层次结构，降低人工构造特征的成本－Ｔ－。同时本文使用Ｔｒｉｒａｉｎｉｎｇ的方法扩充语料集。实验表明与ＴｒｉＴｒａｉｎｉｎｇ方法相比卷积神经网络的方法可レッ获得更好的实验结果。使用半监督学习方法进行关系抽取时存在两个方面的问题一，方面，半监督学习方法在未标注语料选取时选用分类器标注一一一致的样本，部分信息送将损失掉。另方面，在未标注样本加入训练集的过程中，这些样本可能会被标注错误，。为了解决这两个问题本文提出了基于改进的Ｔｒ－ｉＴｒａｉｎｉｎｇ进行蛋白质关系抽取的方法。该方法在对未标注语料选取时选用Ｈ个分类器标注最不一致的样本。并使用主动学习的方法对所选取的样本进行标注。在ＡＩＭＥＤ语料集上实验取得了６８．８０％的Ｆ值，实验结果表明该方法和其他方法相比具有较好的性能。关键词：信息抽取；半监督学习；未标注数据；卷积神经网络；主动学习－－Ｉ 大连理工大学硕±学位论文Ｂ－ｉｏｍｅｄｉｃａｌＥｎｔｉｔｙ民ｅｌａｔｉｏｎＥｘｔｒａｃｔｉｏｎＢａｓｅｄｏｎＳｅｍｉｓｕｅｒｖｉｓｅｄＬｅａｒｎｉｎｐｇａｎｄＤｅｅＬｅａｒｎｉｎｐｇＡｂｓｔｒａｃｔＩｎｒｅｃｅｎｔｅａｒｓｗｉｔｈｔｈｅｒａｉｄｒｏｗｔｈｏｆｂｉｏｍｅｄｉｃａｌｌＵｅｒａｔｕｒｅｔｈｅｔｅｃｈｎｏｌｏｏｆｙ，ｐｇ，ｇｙ＊ｉｎｆｂｒｍａｔｉｏｎｅｘｔｒａｃｔｉｏｎＩＥｉｎｌ；ｈｅｂｉｏｌｏｉｃａｌｌｉ化ｒａｔｕｉｅｈａｓｂｅｅｎｓ化ｄｉｅｄｅｘ１；ｅｎｓｉｖｅｌ．Ｕｎｔｉｌｎｏｗ（）ｇｙ，＊ｍｏｓｔｏｆｔｈｅｗｏｒｋｓｉｎｉｎｆｏｒｍａｔｉｏｎｅｘｔｒａｃｔｉｏｎｆｏｒｂｉｏｍｅｄｉｃａｌｌｉｌ；ｅｒａｔｕｒｅａｒｅｒｅｌａｔｅｄｔｏｒｅｌａｔｉｏｎｅｘｔｒａｃｔｉｏｎ．Ｉｎｔｈｅｂｉｏｍｅｄｉｃａｌｄｏｍａｉｎｒｅｌａｔｉｏｎｅｘｔｒａｃｔｉｏｎｍａｉｎｌｏｃｕｓｅｓｏｎｒｅｃｏｎｉｚｉｎｔｈｅ，ｙｆｇｇｂｉｏｍｅｄｉｃａｌｅｎｔｉｔｉｅｓｎａｍｅ（ｐｒｏｔｅｉｎｓ，ｄｒｕｇｓ，ｄｉｓｅａｓｅｓ，ｇｅｎｅｓ，ｅｌ：ｃ．）ａｎｄｅｘｔｒａｃｔｉｎｇｔｈｅｓｅｍａｎｔｉｃ＊ＴｈｉｅＩａｔｉｏｎｓｂｅｔｗｅｅｎｅｎｔｉｔｉｅｓ．ｉｓｔ：ｈｅｓｉｓｆｂｃｕｓｅｓｏｎｓ化ｄｉｎ化ｅｒｅｌａｔｉｏｎｓｂｅｔｗｅｅｎｙｇｓｅ－ｔｔ－ｔｔｔ－ａｄｍ１ｌｉａｓｅｓｏｍｓｍｏｍｈｅｒａｅｕｉｃｓｕｂｓａｎｃｅａｎｄｒｏ：ｅｉｎｒｏ：ｅｍａｎｄｒｏｏｓｅｓｙｐ，ｙｐｐｐｐ，ｐｐ－ｓｅｍｌｌｉｓｕｐｅｒｖｉｓｅｄｌｅａｒｎｉｎｇａｎｄｄｅｅｐｅａｒｎｉｎｇｍｅｔｈｏｄｓｔｏｓｏｖｅｔｈｅｐｒｏｂｌｅｍｔｈａｔａｒｅｌａｃｋｏｆｌａｂｅｅｄａｔａａｎｄｍａｎｕａｆｅａｔｕｒｅｃｏｎｓｔｒｕｃｔｏｎｎｅｎｔｔｅｓｒｅａｔｏｎｓｅｘ化ａｃｔｏｎｒｅｓｅｃｔｉｖｅ．ｌｄｌｉｉｉｉｌｉｉｌ，ｐｙＴｏｓｏｌｖｅｔｈｅｒｏｂｌｅｍｏｆｔｈｅｌａｃｋｏｆｌａｂｅｌｅｄｄａｔａｉｎｅｘｔｒａｃｔｉｎｒｅｌａｔｉｏｎｓａｍｏｎｄｉｓｅａｓｅａｎｄｐｇｇｓｔｏｍａｎｄｓｍｔｏｍａｎｄｔｈｅｒａｅｕｔ－ｍｔｉｃｓｕｂｓａｎｃｅｔｈｉｓｔｈｅｓｉｓｒｏｏｓｅｓｔｗｏｓｅｍｉｓｕｅｒｖｉｓｅｄｙｐ，ｙｐｐ，ｐｐｐ－ｌｅａｒｎｉｎａｌｏｒ－－ｇｇｉｔｈｍｓＣｏＴｒａｉｎｉｎａｎｄＴｒｉＴｒａｉｎｉｎｔｏｃｏｎｓｔｒｕｃｔｔｈｅｄｉｓｅａｓｅｓｍｐｔｏｍｍｏｄｅｌ，ｇｇ，ｙａｎ过－ｓ１ｏｍｔｔｉｔｃｅｍｏｄｅＩｎｔｈｅｔｔｔｅａｍ；ｈｅｒａｅｕｃｓｕｂｓ；ａｎｌ．ｒａｉｎｉｎｇｒｏｃｅｓｓｈｅｆｅａｕｒｅｋｒｎｅｌｒｈｙｐｐｐ，，ｇｐｋｅｒｎｅｔｒｔ－ＴＴ－ｍｅｔｔｌａｎｄｅｅｋｅｒｎｅｌａｒｅｕｓｅｄａｓｉｎｐｕｖｉｅｗｓｏｆＣｏｒａｉ打ｉｎｇａｎｄｒｉＴｒａｉｎｉｎｈｏｄｓ．Ｉ打ｈｅｇ－ＴｒＴｉｌｉ．ｉｒａｉ打ｉｎｍｅｔｈｏｄｗｅｕｓｅｅｎｓｅｍｂｌｅｌｅａｒｎｎｔｏｉｎｂｒａｔｅｓｅｖｅｒａｌｃａｓｓｆｉｅｒｓＥｘｅｒｉｍｅｎｈｌｇ，ｇｇｐｒｅｓｕ－－ｌｔｓｓｈｏｗｔｈａｔＣｏＴｒａｉｎｉｎａｎｄＴｒｉＴｒａｉｎｉｎｇａｌｏｒｉｔｈｍｓｃａ打ｂｏｔｈｕｔｉｌｉｚｅｔ；ｈｅｕｎｌａｂｄｅｄｄａｔａｇｇａｌｏｎｇｗｉｔｈａｆｅｗｌａｂｅｌｅｄｅｘａｍｐｌｅｓｔｏｉｍｐｒｏｖｅｔｈｅｃｌａｓｓｉｆｉｃａｔｉｏｎｐｅｒｆｏｒｍａｎｃｅ．Ｉｎａｄｄｉｔｉｏｎ，ｔｈｅＴ－Ｔａｔ－ｎｔｅｒｆｏｒｍａｎｃｅｏｆｔｅｅｘｐｒｉｒｉｎｉｎｇｏｕｅｒｆｏｒｍｓＣｏＴｒａｉｎｉｎｉｎ；ｈｅｒｉｍｅ．ｐｇｐ－－Ｕｓｍｅ化ｏｄｓｆｏｒｒｅｌｔｔｉｎｇｓｅｍｉｓｕｅｒｖｉｓｅｄｌｅａｒｎｉｎａｔｉｏｎｅｘｔｒａｃｉｏｎｏｆ化ｅｄｉｓｅａｓｅｓｙｍｐｏｍｐｇ＇－ａｎｄｓｌｍ１ｏｍｔｅａｔｉｃｓｔｅｒｅａｒｅｓｃａｅｏｆｍａｎｕａｌｆｅａｔｕｒｅｓｔｈｅｕａｉｔｏｆ１：ｈｅｓｅ；ｈｒｅｕｕｂｓ：ａｎｃｉｒｅｓｌｌｙｐｐ，ｑｕｇ，ｑｙｆｅａｔｕｒｅｓｈａｖｅｄｉｒｅｃｔｉｍｐａｃｔｏｎ１：ｈｅｅｘｐｅｒｉｍｅｎｔａｌｒｅｓｕｌｔｓ．Ｍｏｒｅｏｖｅｒ，ｔ；ｈｅｃｏｎｓｔｒｕｃｔｉｏｎｏｆａｌａｒｇｅｔｓｔ－Ｔｏｔｕｒｅｓｉｓｏｂｔｈｉｓｔｈｅｓｉｓｎｕｍｂｅｒｏｆｆｅａｉｉｍｅｃｏｎｓｕｍｉｎａｎｄｌａｂｏｒｉｏｕｓ．ｓｏｌｖｅｈｐｒｌｅｍｇ，ｔｔｈｔｔ－ｍｔｌｅｖｅｒａｇｅｓａｃｏｎｖｏｌｕｔｉｏｎａｌｎｅｕｒａｌｎｅｗｏｒｋｍｅｏｄｆｏｒｒｅｌａｉｏｎｅｘｒａｃｔｉｏ打ｏｆｄｉｓｅａｓｅｓｙｐｏｍ－ａｎｄｓｍｔｏｍｔｈｅｒａｅｕｔ．Ｔｈｈｙｐｐｉｃｓｕｂｓｔａｎｃｅｉｓｍｅｔｈｏｄｃａｎａｕｔｏｍａｔｉｃａｌｌｙｌｅａｒｎｆｅａｔｕｒｅｓ行ｏｍｔｅｃｏｒｐｕｓａｎｄａｃｑｕｉｒｅａｆｅａｔｕｒｅｈｉｅｒａｒｃｈｙ，ｗｈｉｃｈｒｅｄｕｃｅｓ化ｅｃｏｓｔｏｆｍａ打ｕａｌｆｅａｔｕｒｅｃｏｎｓｔｒｕｃｔｉｏｎ．Ｍ－ｅａｎｗｈｉｌｅｔｈｉｓａｅｒｕｓｅｓｔｈｅＴｒｉＴｒａｉｎｉｎｍｅｔｈｏｄｔｏｅｘａｎｄ化ｅｃｏｒｕｓ．Ｅｘｅｒｉｍｅｎｔａｌｒｅｓｕｌｔｓ，ｐｐｇｐｐｐｓｈｏｗ化ａ－ｔｃｏｍａｒｅｄｗｉｔｈＴｒｉＴｒａｉｎｉｎｃｏｎｖｏｌｕｔｉｏｎａｌｎｅｕｒａｌｎｅｔｗｏｒｋｍｅｔｈｏｄｃａｎｏｂｔａｉｎａ，，ｐｇ，ｂｅｔｔｅｒｒｅｓｕｌｔ．－－ＩＩ 基于半监督和深度学习的生物实体关系抽取Ｔｈｅｒｅａｒｅｔｒｏｂｔｔｔ－ｔｅｗｏｌｅｍｓｉｎｒｅｌａｉｏｎｅｘｒａｃｉｏｎｂａｓｅｄｏｎｓｅｍｉｓｕｐｅｒｖｉｓｅｄｌｅａｒｎｉｎｇ．０打ｈｐ－ｏｎｅｈａｎｄｓｅｍｉｓｕｅｒｖｉｓｅｄｌｅａｒｎｉｎｃｈｏｓｅｓｕｎｌａｂｅｌｅｄｄａｔａｗｈｉｃｈａｒｅｌａｂｅｌｅｄｃｏｎｓｉｓｔｅｎｔｂ，ｐｇｙｃｌａｓｓｉｆｉｅｒｓ，１：ｈｉｓｍｅ也ｏｄｍａｙｌｏｓｅｓｏｍｅｍｆｂｒｍａｔｉｏｎ．Ｏｎｅｔ；ｈｅｏ化ｅｒｈａｎｄ，ｗｈｅｎｕｎｌａｂｅｌｅｄｄａｔａａｒｅａｄｄｅｄｔｏｔｈｅｔｒａｉｎｉｎｇｓｅｔ，ｔｈｅｓｅｓａｍｐｌｅｓｍａｙｂｅｌａｂｅｌｌｅｄｉｍｐｒｏｐｅｒｌｙ．Ｔｏｓｏｌｖｅｔｈｅｓｅｔｗｏ－－ｒｏｂｌｅｍｓｔｈｉｓａｅｒｒｏｏｓｅｓａｎｉｍｒｏｖｅｄ１；ｒｉｔｒａｉｎｉｎｍｅｔｈｏｄｆｏｒｒｏｔｅｉｎｒｏＫｉｎｉｎｆｒａｃｔｉｏｎｐ，ｐｐｐｐｐｇｐｐｅｘｔｒａｃｔｉｏ打ＰＰＩＥ．Ｔｈｉｓｍｅ化ｏｄｃｈｏｏｓｅｓｕｎｌａｂｅｌｅｄｄａｔａｗｈｉｃｈｉｓｌａｂｅｌｅｄｉｎｃｏｎｓｉｓｔｅｎｔｂ化ｒｅｅ（）ｙｃｌａｓｓｉｆｉｅｒｓａｎｄｕｓｅｓａｃｔｉｖｅｌｅａｒｎｉｎｇｍｅｔｈｏｄｔｏｌａｂｅｌｔｈｅｓｅｕｎｌａｂｅｌｅｄｄａｔａ．ＥｘｐｅｒｉｍｅｒＵａｌｒｅｓｕｌｔｓｓｈｏｗｔｈａｔ，ｃｏｍｐａｒｅｄｗｉｔｈｏｌ：ｈｅｒｍｅｔｈｏｄｓ，ｔｈｉｓｍｅｔｈｏｄｃａ打ａｃｈｉｅｖｅｂｅｔｔｅｒｐｅｒｆｏｒｍａｎｃｅｗｋｈ－６８．８０％ＦｓｃｏｒｅｏｎｔｈｅＡＩＭＥＤｃｏｒｐｕｓ．ＫＷｔ－ｅｏｒｄｓｉｔｉＳｅｍｉｓｅｒｖｉｓｅｄＬｅａｒｎｉｎＵｎｌａｌｅｄｄａｔａ：ＩｎｆｏｒｍａｏｎＥｘｒａｃｔｏｎｕｂｅ；ｙ；ｐｇ；ＣｏｎｖｏｌｕｔｉｏｎａｌＮｅｕｒａｌＮｅｔｗｏｒｋ；ＡｃｔｉｖｅＬｅａｒｎｉｎｇ－－ＩＩＩ 大连理工大学硕±学位论文目录Ｉ摘要ＡｂｓｔｒａｃｔＩＩ１绪１．１１１研究背景２１．２研究现状１．２１２．半监督学习在关系抽取中的应用１２２３．．深度学习在关系抽取中的应用１３４．本文工作１４５．本文结构２相关资源与技术６２１．相关概念和工具６２丄１关系抽取６２丄２句法分析器７２．１．３词的表示８２９．２相关技术２．１支持向量机９．２１２．２．２神经网络０１１２．３评测指标３－－１３基于半监督学习的疾病病症和病症治疗物质的关系抽取３１３．１实验方法１３丄１特征核３１４３．１．２树核．１３１．３图核６－１７３．１．４ＣｏＴｒａｉｎｉｎｇ－１７３．１．５ＴｒｉＴｒａｉｎｉｎｇ１３．２实验设计９１３．１９．２语料介绍３２０．２．２实验设置３－０．３疾病病症模型２－３．１Ｃｏｒａｎｎ２１．３Ｔｉｉｇ实验结果与分析－Ｖ－Ｉ 基于半监督和深度学习的生物实体关系抽取－３．２Ｔａ２．３Ｔｒｉｒｉｎｉｎｇ实验结果与分析２３．４疾病与治疗物质模型２３－３１ＣｏＴａｎｎ２４．４．ｒｉｉｇ实验结果与分析３Ｔ－ＴＹａ２５．４．２ｒｉｉｎｉｎｇ实验结果与分析２６３．５实验结果与分析３．６本章小结２７－－２８４基于卷积神经网络的疾病病症和病症治疗物质的关系抽取４．１轉征选择２８４丄１句子特征２８２９４丄２语义特征３０４．２实验方法４．３实验结果及分析３１４３１．３．１语料介绍４．３．２实验设置３１－３２４．３．３疾病病症模型３－４．４３３．病症治疗物质模型４３３．３．５结果分析４４４３．本章小结－３５５ＴｒＴ基于改进ｉｒａｉｎｉｎｇ方法的蛋白质关系抽取５５．１特征选择３５．２算法设计３５７５．３实验结果及分析３５．１３７．３语料介绍７５．３．２实验流程３５．３．３结果分析３８４１５４．３．与其他方法的性能对比４２５．４本章小结结论４３参考文献４４４８攻读硕±学位期间发表学术论文情况致谢４９大连理工大学学位论文版权使用授权书５０－Ｖ－ 大连理工大学硕±学位论文１绪论１．１硏究背景随着生物医学研究的快速发展，公开发表的生物医学论文和研究成果也呈井喷式增长一。自动地从海量生物医学文本中挖掘有用的知识成为生物医学工作者获取信息的个一一方面生物医学文献中包含许多具有与研究相关的信息，很重要的途径。。另方面大量的生物医学文献也给科研工作者带来极重的工作负担，他们必须通过阅读大量的文献，才能从文献中获取有意义的信息，。因此如何帮助生物医学工作者快速准确的获取有价值的信息成为生物医学自然语言处理的一项重要的研究内容。为了从生物医学文献中自动的获取知识，近年来生物文献中信息抽取技术己经得到广泛的应用和研究。目前为止，生物医学文献中信息抽取的代表性研究主要是关系抽取。生物领域的关系抽取首要任务是从生物医学文本中识别出生物医学实体名称（蛋白质、药物、疾病和基因等），进而提取实体之间的语义关系并构成关系网络，最终用人４］［们可理解的方法将关系网络显示出来。当前建立的生物实体关系的数据库有ＭＩＮＴ、ＢＩＮＤＷ、ＤＩＰＷ等，送些数据库为生物实体关系抽的研究做出了很重要的贡献，但是对目前的研究而言一，这些数据库还是很难满足研究者的需求，方面因为数据库的规模比较小一一。另方面，数据库所涉及的领域比较单，对于特定领域的实体关系抽取而言，所需语料严重匿乏。因此在做特定领域的生物实体关系抽取时首先要解决的是语料问题，而信息检索技术可Ｗ为我们提供数据来源。在上世纪中期，信息检索技术己经迅速发展起来。生物领域的信息检索技术也获得了广泛的研究。早期的生物医学检索系统主要有ＭＥＤＬＩＮＥ和ＰｕｂＭｅｄ，它们主要是收一录了大量的生物医学文献信息，被应用于生物医学文献的查找。为了进步获取生物文献中隐含的知识，研究者开始致力于如何使用信息检索技术在搜索文献的结果中进行信息的分类和整理，ｅｍａｎｔｉｃ。随着机器学习的深入研究信息抽取方法在语义关系数据库Ｓ＾上的使用很大的提升了生物医学信息抽取的效率ＭＥＤＬＩＮＥ，并能为研究者提供医学文献中隐藏信息的查询支持。目前在生物实体关系抽取的很多任务中，缺少现成的语料库支持，虽然可过生物信息检索的方法获取大量的相关资源，但是语料集的标注工作既耗时又耗力，而且有时需要相关专业人±进行标注。由此导致大规模的标注工作很难进行，这就意味着可＾＾获取的标注语料的规模很小，因此我们不得不寻找新的方法进行研究。传统的生物实体关系抽取采用有监督的学习方法，在标注语料集充足的情况下可Ｗ获得很好的结果。然－一１ 基于半监督和深度学习的生物实体关系抽取而在初始语料不足时，有监督的学习方法很难获得满意的结果。因此近年来半监督学习方法被广泛的研究，它主要是在标注语料集少的情况下利用未标注语料集辅助训练。ｓ－Ｗｔ近年来，，深度学习被广泛应用到自然语言处理当中并取得了相对可观的成果。在深度学习提出之前，使用其他的机器学习方法进行任务处理时，需要人工构造特征，特征构造的好坏直接影响实验结果，同时人工构建特征既费时又费力，而且人工构造的特征无法确定是否对任务有效。深度学习的方法解决了特征工程的构造，无需人工构造特征。深度学习有两个优势：ａ）深度学习可Ｗ对特征具有再次学习的能力，降低人工构建特征所需要的时间和成本。ｂ）深度学习可从未标注数据中获取知识，而且可满足海量数据的训练。本文主要应用半监督学习方法和深度学习方法进行生物实体关系抽取研究。采用半一监督学习方法，方面是为了解决生物实体关系抽取过程中初始的标注语料不足的情况一；另方面是为了解决使用半监督学习方法中引入未标注样本时可能存在的噪音问题。采用深度学习方法进行生物实体关系抽取目的是为了解决特征工程的构造和验证使用半监督学习时引入的未标记语料的质量。１．２研究现状１．２．１半监督学习在关系抽取中的应用ＵＵ目前，生物医学实体语义关系抽取主要采用基于共现的方法、基于模式匹配的方１２ｔ［］ｗ法和基于机器学习的方法。基于共现的方法主要是通过寻找彼此共同出现的实体进ＵＷｔｉｓｉ而抽取出实体之间的关系，该方法简单，召回率很高，但准确率很低。Ｙｅｎ等人采用基于信息检索为基础的共现的方法从生物文本中提取疾病和基因的关系。基于模式匹一配的方法就是预先定义系列的模板，在抽取的过程中通过模板匹配达到关系抽取的目，，，所Ｗ这种方法的泛化能力不好的由于模板需要人工进行定义很难找全所有的模板。ＷＨｕａｎｇ等人使用动态规划算法通过调整相关句子和关键词计算识别模式，进行蛋白质关系抽取。基于机器学习的方法，例如支持向量机（ＳｕｐｐｏｒｔＶｅｃｔｏｒＭａｃｈｉｎｅ，ＳＶＭ）ｉｓ【ｉ最大摘和核方法等，利用分类模型从生物文献中抽取实体之间的语义关系。基于机ＰＷ器学习的方法又被分成基于特征向量的方法和基于核函数的方法。Ｎｉｅｌｓｅｎ等人仅利，取得了不错的结果用基于特征向量的方法进行实体之间关系抽取。基于核函数的方法２２３ＰＵＰ［］Ｄ是通过定义不同的核函数进行实体之间的关系抽取，如图核、树核巧路径核。ＡＰＩｉｒｏｌａ等人嗎出全路径图核的方法进行蛋白质语义关系抽取，使用了句子中单词和句２２ｔ子的依存关系信息，取得了很好的结果ａｎ等人巧是出树核的方法进行生物实体中。巧－２－ 大连理工大学硕古学位论文蛋白质关系抽取，与之前的句法成分树相比，该方法使用了句法树中最短依存路径上的依存信息，充分挖掘了两个蛋白质实体之间最短依存路径上的信息。这些方法采取的都一是单的核函数，Ｙａｎｇ等人采用多个核融合的方法进行生物实体关系抽取，他们通一过使用不同的权重将特征核，、树核和图核Ｈ个核融合在起最终使得抽取结果获得很大的提升，。Ｗ上基于机器学习的方法都属于有监督的机器学习方法训练时需要大量有标记的语料，而获取这些标记语料需要耗费大量的人力和物力，成本很高，且仅使用少量的标注语料训练出来的模型很难有很好的泛化能力，。在初始语料集的规模很小时半监督学习得到了广泛的应用和研究。半监督学习方法试图让分类器自己主动地对大量未标注语料进行标注Ｗ辅助少量有标记语料进行学习。目前的半监督学习大致有四种主流的方法，即基于生成式模型的２４＂６７－３２［］［］口］－口］方法、基于直推式支持向量机、基于图的方法和ＣｏＴｒａｉｎｉｎｇ算法等。ＧｕｎｅｓＰｙＥｒｋａｎ等人使用直推式支持向量机，使用依存分析树进行生物实体关系抽取。Ｓｏｎｇ等３３［巧人］用半监督学习方法结合主动学习进行蛋白质关系抽取，都获得了很不错的结果。Ｐ７－Ｔ３其中Ｃｏｒａｉｎｉｎｇ算法是Ｂｌｕｍ等人提出的，其方法要求两个完全兀余的视图，即同时一达到两个下述条件的属性集：第，在训练语料集足够的情况下，每个属性集上都可Ｗ学习获得一二个强的分类器，，所有；第在给定标记时属性集都满足条件独立。而现实一中的大多数问题很难满足这两个条件，，为了放松这个限制Ｚｈｏｕ等人提出了３４＝－［］ＴｒｉＴｒａｉｎｉｎｇ算法，该算法使用个分类器，有效的解决了对未标注语料的标注问题。２－ｗ［８财Ｃｏ－Ｔｒａ理论分析Ｗａｎｇ等人ｉｎｉｎｇ算法做了大量的，提出在不充分冗余的视图下，－可利用未标注语料也能提升实验性能－－ＣｏＴｒａｉｎｉｎｇ算法也。ＣｏＴｒａｉｎｉｎｇ和ＴｒｉＴｒａ址ｎｇ算法都被广泛应用到ＰＳ，３６］自然语言处理中，崔宝金和钱伟中等人采用联合训练ＰＳ（ｏ－Ｔｒａｉｎｉｎ）Ｃｇ的方法进行蛋白质关系的抽取，崔宝金等人联合了基于特征核的方法％￡巧关合了基于特征核的方法和自动和依存树的方法，；钱伟中等人模式学习的方法都提－Ｔｒａ高了实验结果。Ｃｈｏｕ等人使用Ｔｒｉｉｎｉｎｇ方法在少量的标注语料的情况下使用大量的未标注的语料进行中文姓名的抽取，取得了很好的结果。１．２．２深度学习在关系抽取中的应用深度学习在近几年受到广泛的关注，目前己经被广泛应用到自然语言处理任务中。８口］深度学习在自然语言上最早的应用是语言模型的训练，Ｈｉｎｔｏｎ在１９９８年提出了词的９Ｐ：！分布式表示，紧接着Ｂｅｎｇｉｏ提出了用神经网络训练语言模型，该模型间接地产生了词ＷＷ向量。ＴｏｍａｓＭ化ｏｌｏｖ等人开发出Ｗｏｒｄ２ｖｅｃ把词向量推广到自然语言中。在词向－－－ｔ１Ｏｎｔ，词基本上是使用Ｏｎｅｈｏ表示（０表示）ｅｈｏ量产生之前，使用表示的词作为深－３－ 基于半监督和深度学习的生物实体关系抽取Ｐ９度学习的输入，会给模型带来很高的复杂度，而且会引发维度灾难Ｌ在使用词的分布一式表示之后，，深度学习使用词向量作为输入被广泛应用方面降低了模型的复杂度；一一另方面引入了词的语义和语法特征。词的分布式表示这成果推动了深度学习在自然４２［］Ｎ语言处理中的应用。Ｃｏｌｌｏｂｅｒｔ等人使用卷积神经网络（ＣｏｎｖｏｈｉｔｉｏｎａｌｅｕｒａｌＮｅｔｗｏ出，ＣＮＮ）做自然语言处理中的命名实体识别、词性标注等任务，训练时通过卷积获得最终的特征向量用于特定任务的输入，他们没有使用任何人为设计的特征，最终达到各个任？Ｋ［］务的目前最好的水平ｉｍ等人使用卷积神经网络做句子分类，在参数初始化时，。，，对词向量进行优化词向量被当做初始化参数参与卷积训练在训练过程中。Ｚｈａｎｇ等人Ｍ通过使用循环神经网络（Ｒｅｃｕｒｒｅｎｔｎｅｕｒａｌｎｅｔｗｏｒｋｓ，ＲＮＮ）做关系抽取，更好的利ＺＷ用了实体的上下文信息。ｅｎｇ等人叫吏用卷积神经网络进行关系抽取，他们在Ｋｉｍ的一些比较重要的词袋信息通过标句子分类基础上，，引入了位置信息进行卷积同时选取准的神经网络进行学习，最终将两个网络的结果拼接，他们认为位置信息在关系抽取中４６，４７［］占有很重要的作用。Ｌｉｕ和Ｘｕ等人在使用卷积神经网络做关系抽取时使用了句子的依存信息，通过加入句子的依存信息可Ｗ更好的表达两个实体之间的关系。１．３本文工作－－本文主要研究疾病病症和病症治疗物质关系抽取及蛋白质的关系抽取，通过对一些问题生物实体关系抽取现状的介绍和分析，面对现阶段该领域存在的，本文将致力于解决下几个问题。－－（１）首先目前尚无可供训练疾病病症模型和病症治疗物质模型的语料，完全通过人工标注的手段构建，既费时又费力，且很难进行大规模的标注，因此本文采用半监督－Ｔｒａ－学习的方法进行实体关系抽取。本文使用了Ｃｏｉｎｉｎｇ和ＴｒｉＴｒａｉｎｉｎｇ两个半监督学习方法。在训练过程中通过分类器主动地对大量未标注数据进行标注来辅助少量有标注语－Ｔｒａ料进行学习。在Ｔｒｉｉｎｉｎｇ训练过程中，本文使用了组合学习方法，分析了不同的分类器对实验的贡献度。最后比较了两种算法的性能。－（２）虽然通过使用半监督学习方法可Ｗ训练出两个很好的模型，疾病病症模型和－治疗物质模型，，病症。但是在训练过程中需要人工构建大量的特征特征的构建对实验结果影响很大。为了降低人工构建特征的复杂性，本文选取卷积神经网络的方法进行模型训练，，。由于初始的训练语料比较少很难训练好神经网络中的参数因此本文选择－－，Ｔ使用ＴｒｉＴｒａｉｎｉｎｇ来扩充训练集即在ｒｉＴｒａｉｎｉｎｇ训练过程中添加的未标注语料集。该－４－ 大连理工大学硕±学位论文一工构建特征的复杂性－，也间接的验证了ｒ方法方面降低了人ＴｉＴｒａｉｎｉｎｇ训练过程中添加的语料的质量。（３）在使用半胜督学习方法进行训练过程中，存在未标注样本标注错误的问题。一当加入大量的未标注样本时，可能会引入错误的信息，般我们常识的认为而且，分类器标注差异性大的样本被正确的标注后加入训练集对训练会帮助很大，因此本文使用了－Ｔｒａ改进的Ｔｒｉｉｎｉｎｇ算法进行蛋白质关系抽取，在训练过程中选取不同分类器标注差异一大的样本，使用主动学习对它们进行标注，然后加入训练集中，方面解决了噪音问题，另一方面也能引入更多包含不同信息的样本。该方法主要是在蛋白质关系抽取的语料上进行实验，因为该语料集上含有标准的标签信息，更适合进行算法比较。１．４本文结构本文总共分五个章节，针对生物实体关系抽取中的问题，详细地阐述了生物实体关系抽取中半监督学习方法和深度学习方法的应用：。具体章节安排如下第一章，绪论，介绍了生物实体关系抽取目前的研究背景，及存在、研究现状的问题和解决方案。第二章，介绍了生物实体关系抽取的概念、词的表示形式、句法分析器化及所使用的分类工具支持向量机和神经网络。随后介绍了生物实体抽取的评价指标。－－，ＴｒａｉｎＴ法第；章，主要介绍了使用两个半监督学习方法Ｃｏｉｎｇ和Ｔｒｉｒａｉｎｉｎｇ算，进行疾病－病症和病症－治疗物质的关系抽取。分析了两个半监督学习方法的性能。给出，分类器性能变化的详细信息了两种方法在训练过程中。－－第四章，主要介绍了使用卷积神经网络训练疾病病症模型和病症治疗物质模型，对比了卷积神经网络和半监督学习方法的性能。同时验证使用半监督学习方法时添加的未标注语料的质量。－第五章，介绍半监督学习算法ＴｒｉＴｒａｉｎｉｎｇ在训练过程中结合主动学习算法在蛋白质关系抽取中的应用，分析了噪音对算法的影响和选择的未标注样本对半监督学习方法的性能影响。结束语，对本文工作的总结和对未来工作的展望。—５— 基于半监督和深度学习的生物实体关系抽取２相关资源与技术２１．相关概念和工具２１．．１关系抽取近年来随着生物医学文献的快速增长，生物文献中信息抽取技术己经得到广泛的研究，生物医学文献中信息抽取的代表性的研巧是关系抽取。生物领域的关。到目前为止系抽取首要任务是从生物医学文本中识别出生物医学实体，进而提取实体之间的语义关系并构成关系网络。目前，生物医。最终使用人们容易明白的方法将关系网络表示出来、学领域的关系抽取的研巧主要有基因与基因之间的关系、蛋白质与蛋白质之间的关系基因与疾病么间的关系。Ｗ蛋白质关系抽取为例，句子、基因与治疗药物之间的关系等’’＂－二个ｏ化ｅｒａｒｍａｄｉｌｌｏｒｏｔｅｉｎ００７１ｉｎｔｅｒａｃｔｅｄＷ她ＰＳ１．包含蛋白质Ｗｅａｌｓｏ化ｕｎｄａｎｐ，ｐ，ａｒｍａｄ－ＰＳ；个蛋白质对。ｉｌｌｏｒｏｔｅｉｎ００７１ｌ。然ｐ，ｐ和后这Ｓ个蛋白质实体两两组合形成了。因此这句话又衍生出Ｓ个实例，每个实例中只关注两个蛋白质之间的关系对该句子的２。从图２．１可见Ｅｘａｍｌｅ１和Ｅｘａｍｌｅ２中蛋白质（红实体关系抽取分析如图．１所示，ｐｐｓｅ而Ｅｘａｍｌｅｓ中蛋白质ｐ００７１和ＰＳ１之间色标记）之间不存在关系，因此标记为閒，ｐｒｕｅ。存在关系，因此标记为Ｔｈ－…ｃｏｎ？—ｉｌｅｒａｃｔａｎ？ｉｎｔｅｒａｔｉｉ「１ｊ｜－Ｗｅａｌｓｏｆｏｕｎｄａｎｏ化ｅｒａｍｉｋＲ）ｋｒｉ．００７ｔｅｒａｔｅｄｗｉｈＰＳｉ．ｉｔ山ｌ＞ｐｎ１．ｍｃｔｐ１比ｒａｃｏｕ—－Ｊ觀ｔｅｔｉ？ＦＥｉｉｔ－ＯＵＴｌｎｅｒａｃｔｅｄ＼＼ｋｈＰＳｌａｌｓｅｘａｍｌｅ１：Ｗｅａｋｏｆｏｉｍｄｍｉｏｔｈｅｒ；ｍｉＫｕｉｋ＞ｐｒｏｅｍｐ，ｉｔ．ｐ－ｔｗＰＳｉｌＷｅａｌｓｏｆｏｕｎｄａｎｏ化ｅｒａｍａｄ．ＦｄｓｅＥｘａｍｅ２ｉｌｌｏｒｏｔｅｉｎ００７Ｌｉｎｅｒａｃｔｅｄｉ化ｐ：ｐ、ｐ－Ｗ（１ｉｔｔｄｗｉｔｌＰＳｉ．Ｔｉｉ）ｅＥ別ｌｌｕｎｄａｌｅｒａｎｎａｄｉｌｌｏｒｏｔｅｉｎＫ）７、ｎｅｒａｃｅｉ１叩ｅｅａｓｏｆｏｉｕ训ｐ．ｐ图２．１蛋白质关系抽取实例－ｅｒｉａｍｔｅｎｒｏｉｎｎｔｅｒａｃｉｅｘｔｒａｃｔｏｎＫ．２．１Ｅｘｌｏｆｐｏｉｐｔｅｉｔｏｎｇｐ一一，生物实体之间的关系抽取是个很重要的任务，它具有个很大的应用价值例如可Ｗ通过提取疾病与病症的关系和病症与治理物质的关系来提取疾病与治疗物质之间，。的关系，这些信息有利于新药的开发和研制同时也可Ｗ把抽取出的关系用图形化展示一。的些相关的公共语料集和评测有便于人们理解近年来，生物医学领域关系抽取ｔｅａｉＡＩＭＥＤ、ＬＬＬ、ＢｉｏＣＫａｉｖｅｌｌ、ＢｉｏＣｒｔｉｖｅＩＩ．５等。然而由于这些数据集的规模和评巧Ｊ，方式存在较大的不同，而且每个评测之间也存在着很大的差异因此它们不具有可比性。－６－ 大连理工大学硕±学位论文例如，在ＡＩＭＥＤ和ＬＬＬ数据集上的相关评测中，不需要考虑命名实体识别的效果影响，而只需要考虑关系抽取的性能，因为这些语料集中实体都已经标注出来。而在ＢｉｏＣｒｅａｔｉｖｅ相关的蛋白质关系的评测中，首先要考虑的是语料集中实体的识别和标准化，然后在此基础上进行实体之间的关系抽取，因此该任务具有更大的难度。在目前大多数生物实体关系抽取中，抽取的准确率都无法达到实际应该价值。２．１．２句法分析器句法分析就是指对句子中的词语的语法功能进行分析，主要应用于自然语言处理中，如机器翻译，信息抽取和问答系统中。句法分析是指在指定的文法结构下，将句子从原始的单词序列形式解析成句法树结构。在本文中主要使用ＧＤ巧柳和Ｓｔａｎｆｏｒｄ４９Ｐａ［］ｒｓｅｒ来进行句法分析。４８ＧＤ［］ｅｐ是由东京大学Ｔｓｕｊｉｉ实验室开发出来的句法分析器，它主要应用于生物医学中。该句法分析器利用了概率论和数理统计中的逻漫回归化ｏｇｉｓｔｉｃＲｅｇｒｅｓｓｉｏｎ，ＬＲ）分析方法。ＧＤ巧通过对句子进行依存分析，得到句子中单词之间的依存关系，然后根据这些关系，将句子用依存句子结构树的形式表示。图２．２是使用ＧＤ巧对句子－‘，，Ｐ民０了１ｓｔｉｍｕｌａｔｅｓＰＲ０Ｔ２ｒｏｄｕｃ－ｐｔｉｏｎｉｎｄｏｓｅｄｅｅｎｄｅｎｔｆａｓｈｉｏｎａｓｗｅＩｐｌｌ．ｊ进行分析得至的结果。在图２．２中箭头的起点和终点是句中的单词，箭头上的标记代表两个连接词语之间的关系。＊即｜１１＊ＯＢＪＭ？｜？？—一一？一—？＊？翁？—ＩＩ■晴麵論ｓｔｉ；—？ＮＭ〇Ｄ——＊Ａ＊－＊－ＪＭＯＯＪ，｜幻；＊…．＿＿▼，争Ｉ；ＩＴＩＴ；；ｉ！杳巧！ｉ「．，Ｐ艮饼ＪｒｓｔｉｌａｔｅｓＰ氏ＱＴ２ｄｕ＊ｍｕｒｏｃｔｉｏｎｉｎｄｏｄｅｐｓｅｐｃｎｄｅｎｇｆａｓｈｉｏｎａｓ々础■ｉ：佩一：；ＭＶＢＺＨＮ；ＮＮＩＮＪＪＮＮ触ＲＢ；ｔ？？？？？？＞？？？？？翁＞＊＞聲？？？身？？？？？翁—爭＞？？？翁图２．２ＧＤ巧的依存树结构输出实例Ｆ．２．２ｉＥｘａｍｅ：０ｕｇｐｌｏｆｌｈｅ山ｐｔｒｏｄｕｃｅｄｂｙＧＤｅｐｐ４９］ＳｔａｎｆｏｒｄＰａｒｓｅ［ｒ是由斯坦福大学研发的句法分析器。目前己被广泛应用于自然语言处理领域。斯坦福句法分析器主要使用词汇化依存句法分析与概率上下文无关文法等方法。ＳｔａｎｆｏｒｄＰａｒｓｅｒ主要的输出形式有词性标注（ＰＯＳ）、依存关系Ｗ及短语结构树Ｓ种＂。表２．１中表巧是使用ＳｔａｎｆｏｒｄＰａｒｓｅｒ对Ｗｅａｌｓｏ化ｕｎｄａｎｏ化ｅｒａｒｍａｄ－ｉｌｌｏｒｏｔｅｉｎｐ，＂００７１ｉｎｔｅｒａｃｔｅｄｗｉｐ，化ＰＳｌ．解析得到的短语结构图和依存结构图。－７－ 基于半监督和深度学习的生物实体关系抽取表２．１ＳｔａｎｆｏｒｄＰａｒｓｅｒ的输出实例Ｔａｂ．２．１ＥｘａｍｌｅｏｆｔｈｅｏｕｔｕｔｒｏｄｕｃｅｄｂＳｔａｎｆｏｒｄＰａｒｓｅｒｐｐｐｙＲＯＯＴ（巧（ＮＰ（Ｐ民ＰＷｅ））（ＡＤＶＰ（民Ｂａｌｓｏ））ＶＰＶＢＤｆｏｕｎｄ（（）ｂａｒｓｎｐ巧（（睽＾卢＂树＇奸ｑ构ＮＰＤＴ－ａｎｏｔｈｅｒＮＮａｒｍａ加ｌｏｒｏｔｅｉｎ（（）（ｐ））（，，）（ＮＰ（ＮＮＳｐ００７１））（，，；））ＶＰＶＢＤｉｍｅｒａｃ化ｄ（（）ＰＰＩＮｗｉｔｈ（（）ＮＰＮＮＰＰＳ！．．（（）））））））（）））ｎｕｂｆｏｕｎｄ－３Ｗｅ－ｓ（１ｊ，）ａｄｖｍｏｄ仿ｕｎ－ａ－ｄ３ｌｓｏ２（，）ｒｏｏＲＯＯＴ－ｕｎｄ－ｔ（０ｆｏ３，）－－－ｄｅａｒｍａｌｌｃＨｏｒｔｉｎ５ａｎｏ化ｅｒ４ｔ（ｐｏｅ，）±么广＇灼ｎｅｒａｃ－ｒ－－ｎｓｕｂｌｌｒｔｅｎ５ｔ化ｄ９ａｍａｄｉｏｏｉ，）ｊ＾ｐａｓｒｍ－－－ａａｄｌｌｒ５１７ｐｐｏ（ｉｏｏｔｅｉｎ００７ｐ，ｐ）ｃｃｏｍｕｎｄ－３ｎｅｒａｃｅｄ－９ｐ（ｆｏｉｔｔ，）－ｒｅ－ｗｉｒＰＳｌ１１ｉｔｈ（ｉＷｅａｃ巧ｄ９ｐｐ，）＿２．１．３词的表示一想要用机器解决自然语言处理中的问题，首先是要找到种方法将它们数学化。在－－１自然语言处理中，目前为止常用的两个词表不的方法是ＯｎｅｈｏｔＲｅｐｒｅｓｅｎｔａｔｉｏｎ（０表乐）和ＷｏｒｄＥｍｂｅｄｄｉｎｇ（词向量）。一－Ｏｎｅｈｏｔ的表不方法是把每个词表７Ｆ为个很长的向量，送个向量的长度是词表的一Ｕ大小，其中只有个维度的值为１，其余的元素都为０：．．．，。例如香蕉表示为〇，〇凡１凡］［‘＂啤果表示为０，１爪０爪．．．若种表示如果采用稀疏方式进行存储，就会变得相当清晰，［］一个固定的数字阻也就是给每个词都分配（即在单词词典中的位置）。这种词的表示一般结合支持向量机方式（ＳＶＭ）、条件随机场（ｃｏｎｄｉｔｉｏｎａｌｒａｎｄｏｍｆｉｅ化ＣＲＦ）等算法解决自然语言中的各种任务。一－Ｏｎｅｈｏｔ的表示方法存在些问题，如任意两个词之间都是相互独立的，仅仅从两个向量上看不出两个词么间是否存在关系，。而且被应用于深度学习中时高维的特征会使模型的复杂度加剧，很容易造成维度灾难，。基于Ｗ上原因词的分布式表示被急切的＾ｅ－应用到自然语言处理中，可心解决使用Ｏｎｈｏｔ表示所带来的问题。－８－ 大连理王大学硕±学位论文词的分布表示最早是Ｈｔｏｎ１９％年提出的，主要的贡献是让相近或者相关的ｉｎ在词＂＂。在距罔上更加相近了。词的分布式表不通常被称为ＷｏｒｄＲｅｒｅｓｅｎｔａｔｉｏｎ或Ｗｏｒｄｐ＂＂＂。’。Ｅｍｂｅ加ｉｎ。香豁１（－ｇ，中文多称为词向量如：的词向量表示为０．２Ｕ０．１０．．，［凡，，，，］苹＂－－果的词向量表示为０．１１。我．２０．１００．．．［，，，，］们可＾通过计算两个向量之间的余弦值来衡量一它们之间语义的相似性。般词向量的维度不高，在５０维到２００维区间比较常见。用一－词向量表示单词作为深度学习的输入，方面可Ｗ降低模型的复杂度ｅｈｏｔ，解决使用Ｏｎ表示时容易引人的维度灾难一：另方面词向量包含单词的语义信息，作为深度学习的输入能更好的保留整个输入的信息。目前为止训练词向量的方法和工具有很多，在本文中，我们使用Ｗｏｒｄ２ｖｅｃ工具训练词向量，Ｗｏｒｄ２ｖｅｃ是在２０１３年由Ｇｏｏｇｌｅ的工程师ＴｏｍａｓＭｉｋｏｌｏｖ团队开发出来的。现在己经被广泛应用到词向量的训练之中。２．２相关技术２２１．．支持向量机支持向量机一（ＳＶＭ）是由Ｖｎ＆等人在２０世纪９０年巧代初提出的，它属于种有监督的机器学习模型算法。被广泛应用于自然语言之中。它的基本思想是寻找特征空一二间上间隔最大的超平面，属于种分类模型：。该方法包含几个不同类型的模型线性可分支持向量机、线性支持向量机和非线性支持向量机。模型构建的理论基础主要是统计学中的ＶＣ维理论与结构风险最小化准则，经。当训练数据集线性可分时过找寻硬间一隔最大化，学习得到个线性分类器，即线性支持向量机，。当训练语料线性不可分时通过引入核函数，将低维特征映射到高维空间，同时引入软间隔最大化来解决线性不可分问题，学习得到非线性支持向量机。核方法在支持向量机中占有重要地位，核函数表示将输入从输入空间映射到特征空间得到特征向量之间的内积，核函数的引入可ｙｊ军决线性不可分问题，等价于在高维空间学习线性支持向量机。本文主要使用的ｔＳＶＭＪｉｇｈｊｎＣ作为分类工具，因为它实现了ＴｒｅｅＫｅｒｎｅｌ信息。目前，ＳＶＭ中常用的核函数主要有Ｈ种，分别是线性核函数，多项式核函数，径￣向基核函数。它们的公式如（２．１（２）．３）所示。此外还可ＬＪ根据自己的需求设计针对特定任务的核函数。线性核函数（ＬｉｎｅａｒＫｅｒｎｅｌＦｕｎｃｔｉｏｎ）：２．１（）多项式核函数（ＰｏｌｏｍｉａｌＫｅｒｎｅｌＦ＾ｃｔｙｎ：－９－ 基于半监督和深度学习的生物实体关系抽取ｘｚ＾ｘ－ｚ２２Ｋ＋ｃ．｛，）｛）（）［＾径向基函数（民ａｄｉａｌＢａｓｉｓＦｕｎｃｔｉｏｎ，ＲＢＦ）：＝－ｆｃｉ２／Ｃｘ．３，ｚｅｘ（）ｐ（）（）ｚｃｒ２．２．２神经网络神经网络（ＮｅｕｒａｌＮｅｔｗｏｒｋ，ＮＮ）模型是许多逻辑单元按照不同层级组织起来的网一一一２．３３，，每层的输出变量都是下层的输入变量为个第络。图层的神经网络层成虹一山Ｌ一Ｈ为输入层（Ｐ山Ｌａｙｅｒ），最后层称为输出层（０山Ｐａｙｅｒ），中间层为隐藏层（ｉｄｄｅｎ一Ｌａｙｅｒｓ）海层都增加了个偏倚单位（ｂｉａｓｕｎｉｔ）：Ｌａｙ＾ＬＬａｙｅｒＬ２ｉ图２．３神经网络结构巧．２．３Ｎｅｕｒａｌｎｅｔｗｏｒｋａｒｃｈｉｔｅｃｔｕｒｅ复神经网络模型的训练包括两个方面，前向传播和后向传播。进行前向传播的目的在一于计算每层节点的激活值，而进行后向传播的目的是调整各层训练参数，把误差传到前面各层，减少误差。（１）前向传播的计算：ｌ＇ｌｉ＂二Ｘ２．４幻／＋＋；Ｃ＋尸（巧ｌ听听３３却）（）－１０－ 大连理工大学硕±学位论文ｕ＇＇＇）））。＝义／；Ｃ＋＋义＋２．５戸（昭ｉ呜２昭３与）（）２＞＞＞。＝Ｘ＋／賊＋＋．６；，％昭２昭）口）皆。＞２＞。＞２＞＂＝＝’（。。＋＋＋＆．７ａ切＿／炯）口）Ｖ｜１昭邸巧削，（２）后向传播算法：＂（＂，’＇＇＇’＝－＝－－．１《。．８Ｖ山）ｆ（义，）／悼）口）為非其中一＂＂，表示最后层的输入对于最终的误差产生的影响，称为残差。式一）子（２．９表示的是每层各个节点的残差，有了这个残差后，就可Ｗ计算出损失函数对一￣于每层参数的偏导数，（２１１）：计算公式为（２．１０）．也Ｉ。＇＋、＇、、＞二Ｗ．９巧（艺；巧）／（畔）口）＝１．／＝２．１０（）＞ｊＷｂｘ＝Ｓ．Ｕ（；，＾，ｙ）ｒ口）哪２．３评测指标生物实体关系抽取所使用的评价标准有准确率（尸）、召回率（ｉ？）、Ｆ值（Ｆ）和。１［］ＡｒｅａｕｎｄｅｒＲｏｃＣｕｒｖｅ（（７Ｃ。它们的定义如下：杉）ＴＰ戶二＊１００％２１２（．）＼ＴＰ＋ＦＰ民＝—＾＾＊１００％２．１３（＼）ＴＰ＋ＦＮ＊＊２ＰＲ二－＊Ｆ１００％（２．１４）Ｐ＋Ｒｍ＊＂７＿ＡＵＣ＝＾＝＾＊！〇〇〇／〇２．Ｋ（）ｎｕｍ－其中ｒ尸是将正例样本预测为正例的个数，是将正例样本预测为负例的个数，Ｆ尸是将负例样日饥＿本预测为正例的个数；分别表示语料库中关系正例和负例的个数，Ｘ，和ｙ分别是系统对关系正例和关系负例的预测值。函数巧下：，。的定义如－１－１ 基于半监督和深度学习的生物实体关系抽取—１ｒ＞０，／／＝〇５＝０２．１６〇）．ｒ，（）ｊ０，ｒ＜０准确率和召回率是相互制约的，所Ｗ通常用准确率和召回率的平均值Ｆ值来衡量系统的整体性能。同时本文也使用值评测实验结果，其优点在于它不受数据类别分口１布的影响，目前己经作为新的性能评测标准。－－１２ 大连理工大学硕±学位论文３基于半监督学习的疾病－病症和病症－治疗物质的关系抽取近年来国家加大对生物医学领域研究的资金投入，生物医学成果及其文献的数量得到快速增长，生物文献中信息抽取技术已经获得广泛的研巧。当前，生物医学领域的关系抽取的研巧主要有基因与基因之间的关系、蛋白质与蛋白质之间的相互作用关系、基因与疾病之间的关系、基因与治疗药物之间的关系等本章研究的是疾病与病症和一病症与治疗物质之间的关系抽取，通过病症把疾病和治疗物质关联起来，例如种疾病一存在某个病症，，而某种物质对送病症有抑制作用据此就可Ｗ假设这种物质可能对这一疾病有治疗作用，。这些信息对疾病的治疗和药物的研制有着非常重要的意义。当前尚无可供训练疾病与病症模型和病症与治疗物质模型的语料。完全通过人工标法的手段构建，，费时费力很难进行大规模的标注，因此，本文采用半监督学习的方法进行模型训练。半胳督学习试图让分类器自己主动地对大量未标注数据进行标注Ｗ辅助少量有标－Ｔ－注数据进行学习。本章采用Ｃｏｒａｉｎｉｎｇ和ＴｒｉＴｒａｉｎｉｎｇ这两个半监督学习方法训练疾病－病症和病症－治疗物质模型。在模型的训练过程中主要选取特征核、图核和树核作为两－ｒａ个半监督学习方法的输入视图。同时在ＴｒｉＴｉｎｉｎ的训练过程中，采用了组合学习的ｇ方法，将Ｈ个视图上学习得到的分类器［＾不同的权重组合起来。３．１实验方法在本章的方法里，为了最终训练出疾病与病症模型和病症与治巧物质模型，在训练－ＴＴ－过程中使用特征核，ｒａｉｎｉｎｒｉｔｒａｉｎｉｎ、树核和图核个不同的特征集作为Ｃｏｇ和ｇ的视图的输入。３．１．１特征核一在文中为了统，把疾病、病症和治疗物质统称为概念实体。基于特征核的关系抽、工作是特征的选取取方法的核屯，特征选取的好与坏直接影响了实验的结果。在本章主要用了Ｗ下四种特征：一（），１词特征：词特征包括２个概念实体名之间的词Ｗ及周围的词后者包括第个概念实体名左边的４个词和第二个概念实体名右边的４个词。一（２）Ｎ元词：从第个概念实体前４个词起到第二个概念实体后４个词的范围内选择二元词特征和Ｈ元词特征作为特征。Ｎ元词特征加入了词的上下文信息。（３）位置特征：词特征和Ｎ元词特征相对于两个概念实体的位置信息在概念实体，距离实体较近的特征在关系抽取中发挥的作用越大关系抽取中起很重要的作用。因此实验中加入了位置特征。－－１３ 基于半监督和深度学习的生物实体关系抽取（４）交互词特征和概念实体之间距离特征：很多暗指概念实体关系的词存在于两。“＂个概念实体名之间或者周围（如ｂｉｎｃＴ、ａｃｔｉｏｎ等），这些词对概念实体关系的表达有很重要的帮助，称之为交互词。而且往往两个概念实体之间的距离也可判别概念实体，距离越近预示着概念实体之间存在关系的可能性就越大之间是否有关系。，并且很稀疏，基于特征核所提取出来的特征向量维度很高，这些特征中低频词很多一有的特征仅出现了次，对分类器的帮助不大，而且大量这样的特征存在会对分类器造成很强的干扰作用，本文选用文档频率的方法。为了选出重要的特征来提高分类准确度３１５］２４对特征进行选择。基于特征核的方法在疾病与病症语料集上所提取的初始特征有．８万个，２，实验中选取文档频率数大于５的特征最终保留特征１．万个；病症与药物语料集上所提取的特征有３４．５万个，选取文档频率大于５的特征，最终保留１．３７万个特征。１２３．．树核树核是使用句法分析器将句子解析成句法树后，计算任意两颗句法树之间的相似５４一［度。卷积树核Ｋｃｒ／Ｃ指卷积）是Ｃｏｌｌｉｎ等人驅出的种特殊的卷积核，通过计算（，巧（两个句法分析树打和於相同子树结构的数目作为两者的语义相似度：公＾＝Ａ＂３．１巧，）的，）（）Ｃ２之２＂£ｊＶ，＂£Ｗ１ｉ２：其中，Ｗ是树巧中的节点集；Ａ（心；７分为使用递归算法计算和７７２为根的相同子树结构数目。（１）卷积核中的句法树的剪裁＾ｌ文中使用ＳｔａｎｆｏｒｄＰａｒｓｅｒ对句子进行句法解析，在解析之前对语料集中所有的句子进行预处理，把句子中要抽取的两个概念实体名称替换为ＥＮＴ民Ｙ１和ＥＮＴＲＹ２，其＂Ａ－他的概念实体名称替换为ＥＮＴ民Ｙ：ＧｅｎｅｅｎｅｉｎｔｅｒａｃｔｉｏｎｂｅｔｗｅｅｎＣ００２１７６４，例如句子ｇ＂ＭａｎｄｉｎｔｅｒｌｅｕｋｉｎｉｎｃｒｅａｓｅｓＣＯＯＯ＾Ｗｒｉｓｋ我们用ＭｅｔａＭａｐ预处理句子，把实体映射到（＂－１．经过处理后可＾ｅｔｔｔｌ他们的ＧＵＩｓ＾＞获得句子Ｂ：ＧｅｎｅｎｅｉｎｅｒａｃｉｏｎｂｅｗｅｅｎＥＮＴＲＹａｎｄ）ｇｎ＇＇ｉｎｔｅｒｌｅｕｋｉｎｉｃｒｅａｓｅｓＥＮＴＲＹ２ｒｉｓｋ。然后用ＳｔａｎｆｏｒｄＰａｒｓｅｒ对整个句子进行语法分析。得到ＣｏｍｌｅｔｅＴｒｅｅＣＴＣＴ树包含了完整的语义信息，这些信息存在大量的冗余，会严重ｐ（），５ｔ干扰实验的抽取结果，本文使用Ｚｈａｎ叫是出的最短路径闭。为了去除兀余的信息ｇ等人合树即ＳｈｏｒｔｅｓｔＰａｔｈＥｎｃｌｏｓｅｄＴｒｅｅＳＰＴ。紳Ｔ树是在ＣＴ树的基础上经过剪枝得到的，（）Ｔ一ＢＰＴ是Ｃ树的部分。图３．１是句子使用ＳｔａｎｆｏｒｄＰａｒｓｅｒ解析之后得到的ＣＴ树和Ｓ树，其中ＳＰＴ树是红色正方形圈住的部分。（２）谓词参数路径－－１４ 大连理工大学硕女学位论文谓词参数表示词与词之间深层的句法和语义关系。在谓词参数结构中，两个概念实体之间最短路径上的不同子结构代表不同的信息。本章把最短路径上的两个ｗａ化特征，－－－ｖ－ｅｗａｌｋ中可ｗａｌｋｗａｗａｌｋ包含，ｅ和ｌｋ加入到树核中。ｖ从，两个词的句法和语义关系一个节点和两个与它直接相邻的关系得到。如图３．２所示。ＲＯＯＴＮＰＮＰＮＰ■＾义ｒＮＰＶＰＣＤＮＮ丫，，王ＮＮＮ＞ＪＩＥＮＴＲＹ！ｒｉＩＩＮｓｋ干丫，ｉ，，式－ＧｅｎｅｉｎｔｅｒａｃｉＮＮＣＣＮＮＮＮＳｅｎｅｔｏｎｂｅｔｗｅｅｎｇＨＮＴＲＹ！ａｎｄｉｎｔｅｒｌｅｕｋｉｎｉｎｃｒｅａｓｅｓ—氧３．１个解析树的实例Ｆｉｇ．３．１ＥｘａｍｐｌｅｏｆａｐａｒｓｅｔｒｅｅＶＭＯＤ＾＇ｘＥＮＴＲＹｌ，ＥＮＴＲＹ，ｉｎｔｅｒａｃｔｅｄｗｉｔｈＥＮＴＲＹ２／ＮＭＯＤ、ＵＢＰＭＯＤ￣Ｖ－Ｗａ＆ｓ］ＮＭＯＤＳＵＢＰＭＯＤＶＭＯＤＩ不ＩＩＩＩ｜巧ｊ｜，ＥＮＴＲＹｌＥＮＴＲＹ，，ＥＮＴＲＹ，‘，ｉｎｔｅｒａｃｔｅｄＥＮＴＲＹ２ｗｉｔｈｉｎｔｅｒａｃｔｅｄｗｉ化￣Ｅ－Ｗａ化ｓ］￣￣￣￣￣￣￣ＮＭＯＤＳＵＢＳＵＢＶＭＯＤＰＭＯＤＶＭＯＤ｜｜｜＾ＩＩＩＩＩ｜｜｜ｗｔｈＥＮＴＲＹｉｉｎｔｅｒａｃｔｅｄ图３．２实例的依存图Ｆ．巨ｘｅｆａｅｒｉｇ．３２ａｍｐｌｏｄｐｅｎｄｅｎｃｙａｐｈｇ－－１５ 基于半监督和深度学习的生物实体关系抽取义１．３图核图核方法主要是用句法分析树将句子表示成图的结构。图的相似度是通过比较两个ＰＩ１图中公共节点之间的关系获取。实验中使用的是Ａｉｒｏｌａ等人提出来的全路径图核。一。．图核中包含了两类子图：分析结构子图和线性顺序子图图３３列举了个图的表达实例，图３．３的上半部分是分析结构子图，下半部分是线性顺序子图。这两个子图分别表示句子的依存结构和线性序列。化＾化９＿广＾，０．９ＨｄｏｂｌＰＳｊＩ—Ｘ０．３？ｘｃｏｍｐ０．３０．９＂￣Ｍｕｂ■－她￣—ｒｅｖｖ…０，０．３ＩｊＫ３Ｈｐｐ＿１｛１＾９Ｃｈ＾！１Ｋ。厂〇３〇３０．〇ａｇＩＩｍｌＩＩＩＩ＿＿ｉｉＥＮＴＲＹｌＩＰｉｎｔｅｒａｃｔｓｗ化ＥＮＴＲＹ化ｄｉｓａｓｓｅｍｂｌｅＪＰＥＮＴＲＹ２ＪＰｆｉｌａｍｅｎｔｓＪＰ－￣＂ＮＮ１ＰＶＢＺＩＮＮＮＴＯＶＢＩＰＮＮＰＮＮＳＰ＿ＪＪ一￣＇—￣０．＾０．＾＾＾ｆ＾ＥＮＴＲＹｌｌｎｔｅｒａｃｔｓＭＥＮＴＲＹＭｔｏＭ山ｓａｓｓｅｍｂｌｅＥＮＴＲＹ２ｎｉａｍｅｎｔｓＡ＿＿＿ｊＭＮＮＶＢ功ＮＮＭ咕ｍＮＮＮＮＳ＿Ａ＿｜ＩＩ｜ＩＩＩｉｎｍＩＩＩＩ｜图３．３图核的两个有向子图Ｆｉｇ．３．３ＧｒａｐｈＫｅｒｎｅｌｗｉｔｈｔｗｏｄｉｒｅｃ化ｄｓｕｂｇｒａｐｈ一一实验使用了个简单的权重方案，其中方面，在结构子图中最短路径上的边权重Ｉ一为０，９。．９，其它边缘的权重为０．３。另方面在线性顺序子图中所有的边的权重均为化图核方法将句子表示成图的形式，通过计算图之间的相似度来计算句子间的相似度。图用矩阵表示，如下所示：’Ｇ＝ＡｌＪ（３）运．２古？１＾一其中，是个邻接矩阵，它的行和列的索引都是顶点。表示连接顶点Ｋ和顶点Ｆ＝的边的权重。Ｉ是标签矩阵，ｉ表示顶点Ｆｙ，行表示标签列表示顶点。Ｚ中包含第ｉ／ｙ’＇，／个栋签。使用两个图矩阵Ｇ和Ｇ作为输入图核Ａ（Ｇ，Ｇ）的计算公式如公式（３．３）所示：’Ｇ＝Ｇ。）．３）Ｗ，２２爲＝１＼－－１６ 大连理工大学硕±学位论文—３．１．４ＣｏＴｒａｉｎｉｎｇＣｏ－－ｒａｉｎｉｎ为了利用未标注语料，实验使用了Ｔｒａｉｎｉｎｇ的半监督学习方法，在ＣｏＴｇ一方法中视图满足两个条件：第，在训练数据充足的条件下，每个视图上都可Ｗ学习获一个强的分类器，得，第二，在给定标记时两个视图条件独立。训练中选择特征核、图－输入视图－核、树核Ｈ者中任意两个作为ＣｏＴｒａｉｎｉｎｇ的。实验中使用的ＣｏＴｒａｉｎｉｎｇ算法的描述如表３．１所；－３１Ｔｎ表．Ｃｏｒａｉｎｉｇ算法框架Ｔ－ａｂ．３．１ＦｒａｍｅｗｏｒｋｏｆＣｏＴｒａｎｎｏｒｉｉｇａｌｉ化ｍｇ－Ｃｏｔｒａｉｎｉｎｇ算法１．初始化：己标注训练集心未标注的语料集Ｕ左＝王＝Ｚ初始化训练集山，。（／２）针对训练集找出两个冗余视图ｆＯ，朽迭代次数２．训练：＝２－．１从未标注语料中随机选取《条语料加入到待分类的Ｕ中，［／ｆ／ｗ。２２ＺＦ一／视７．使用训练集／在图上训练出个分类器／／。一使用训练集Ｚ２在朽视图上训练出个分类器／２２。２々去标注未标注语料Ｋ．３分别使用Ａａ２２４一．々／／２注７？？，７？７把，２标致的且置信度高的个正例样本和／个负例样本取出从个正例样本中取出的Ｐ个分别加入到Ｉ；，。中２．５从未标注语料ｔ／中随机选出２ｍ个未标注语料集加入到待分类语辑集《中，使语料集Ｋ＝ｎ。Ｕ－２ｍＮ＝Ｎ－的大小据终是Ｕ，ｌ一２６２￣．２２．５直／，《．循环到未标注语料集ｔ为空中的未标注语料的数量小于定的数目或者ＡＭ）为止３．输出：分类說ｈｉ，ｈ；３－１．５ｉＴｉ．Ｔｒｒａｎｉｎｇ－Ｔｒａｉｎｉｎ由于Ｃｏ算法要求采用两个充分冗余的视图，ｇ，在很《情况下很难做到为一Ｔ－了进步放松协同训练的约束条件，实验中使用了ｒｉＴｒａｉｎｉｎｇ算法，它既不需要严格一遵守Ｃｏ－Ｔｒａｎｎｉｉｇ算法中视图所要求满足的条件也不需要使用不同分类器。该方法的，可简单地处理样本的标注置信度问题个最主要的特点是使用了三个分类器。训练中－Ｈ个输入视图－选用特征核、图核、树核作为ＴｒｉＴｒａｉｎｉｎｇ的。实验中使用的ＴｒｉＴｍｉｎｉｎｇ．２所示算法描述如表３：－－１７ 基于半监督和深度学习的生物实体关系抽取３－表．２ＴｒＴｒｉｎｈｉａｇ算法框架＇Ｔ－ｍａｔ）．２ＦｉａｒＴｒＴｒａｉｎｒ．３ｍｅｗｏｋｏｆｉｉｎｇａｌｏｉ化ｇＴ－ｒｉＴｒａｉｎｉｎｇ算法１．初始化：己标记的训练集Ｉ，未标记的语料ｔ／＝＝＝，Ｌ初始化Ｈ个训练集Ｚ／。（心心。），Ｆ／（６Ｋｊ。针对训练集找出Ｈ个视图，，迭代次数Ｗ２．训练：２＝．１从未标记语料Ｕ中随机选取出《条语料加入到待分类的Ｗ中。ｔ／化Ｍ一２．２使用训练集１。／在Ｆ／视图上训练出个分类器／＂使用训练集在吟视图上训练出一个分类器也。使用训练集。在Ｋ一ｊ视图上训练出个分类器片Ｊ。２／／２Ｗ．３分别使用。２知去标注未标注语料。，，２一ＷＷ．４把／＂注个正例样本和个负例样本取出Ｗ，从个正，知标致的且置信度高的例样本中选出ＰＷ，王／个和个负例样本中选出护个置信度高的样本分别加入到训练集／，１２，心中２．５从未标注语料Ｕ中随机取出个样本加入到待分类语料集Ｕ中，使语料集Ｗ中的数《＝／－２ｗ＝７ＶＡＭ量始终保持为。ＵＣ，一２？．６２．２２５／循环．直到未标注语料集ｆ为空，Ｍ中未标注语料的数量小于定的数目或者Ｗ＝０为止３：．输出分类器々／，也，知，不同的分类器从不同的方面计算句子之间的相似性此外。结合这些分类器的相似－Ｌ：ｉ■减少重要特征的丢失，Ｔｒａｉｎｉｎ，之处可。因此在Ｔｒｉｇ的每次迭代过程中为了提升分一一类器的整体性能，我们采用了两种不同的策略将Ｈ个分类器集成在起个策略是。第一起用简单的投票方式将Ｈ个分类器集成在。第二种策略是为每个分类器分配不同的权一＝重，ｌ２（）然后归化Ｈ个分类器的输出＆ｍ３。其，Ｍ３．４，，（，，）中表示分类器的个数。公式计算分类器集成之后的输出。Ｋ（３．４）＝知人＂ｊ＝ｌＭ？＝１＞０Ｖｗ）〇（３．５，，？，所＝１－－１８ 大连理工大学硕±学位论文３．２实验设计３１．２．语料介绍疾病与病症的语料集是使用从医学主题词表（ＭｅｄｉｃａｌＳｕｂｅｃｔＨｅａｄｉｎｓＭｅＳＨ）中ｊｇ，＂＂选择的２００个语义类型为ＤｉｓｅａｓｅｏｒＳｙｎｄｒｏｍｅ（疾病与症状）的概念对Ｓｅｍａｎｔｉｃ７］［５５【］ＭＥＤＬＩＮＥ〇３｛３６３５６进行检索，得到的句子。这些句子首先通过？４６１３］＼４３９进行命名实体识别，然后进行语义类型过滤，限制初始词和连接词的语义类型，最终得到１９９２８个句子，可获得实验中所需要的初始训练集和测试集，。手动标注这些句子数量分别为５９８和４９９。在进行人工语料标注时，制定的标注规则如下：如果句子中的两个概念实体含有关系词列表中的关系，便认定两个概念实体之间存在关系，标为正例样本，如。＂“Ａ？？。＂：ＢＡ．ＢＢｉｎＡＡＢｉｎ、ｃａｎｃｈａｎｇｅ．等句子标为正例。因为，说明这种疾病中包含这种生理现象。如果Ａ和Ｂ两个概念在句子中仅仅只是共现而没有其他明显关系则标＂’’’“＂＂Ａ一为负例样本，如ＡｉｓａＢ／、ａｎｄＢ等句子标为负例，因为ＡｉｓａＢ是个层级的关＂’’系，不是实验所需要的关系，ＡａｎｄＢ仅仅只是Ａ和Ｂ共现，并不能说明Ａ能引起Ｂ的变化。Ｗ实验中病症与治疗物质的语料集的来源如下：首先使用老年痴呆症检索ＳｅｍＲｅｐ数据库得到的连接词；然后使用语义类型对连接词进行过滤，得到３４６个连接词；接着Ｗ使用这些连接词对ＳｅｍＲｅｐ再次进行检索，获得包含连接词和目标词的句子。最后通５５［过ＭｅｔａＭａ，得到２０４６１个实验所使用的句子ｐ地行命名实体识别和语义类型过滤。与疾病与病症语料集的处理方式相同，对这些句子进行人工标注，形成病症与治疗物质模型训练中所使用的初始训练集和测试集，它们的大小分别为６００和５００。在进行人工标注时，所使用的标注规则与疾病与病症的语料集有所不同，具体如下：如果句子中的两个概念实体含有关系词列表中的关系，便认定两个概念实体之间存在关系，标为正例样＂＂本。然而像ＢｉｎＣ．这种类型的句子则被标为负例，因为在病症与治疗物质语料集中，需要的是Ｃ能够改变Ｂ的关系。负例样本的其他标注的准则与疾病与病症语料集上的一标准致．３。语料的具体信息如表３所示。表３．３两个语料集的详细信息Ｔａｂ．３．３Ｔｈｅｄｅｔａｉｌｓｏｆｔｗｏｃｏｒｐｏｒａ￣语料集训练集测试集未标注数据集Ｓ＾Ｍ＾＾疾病与病症２９９２９９２４９２加１８８３１病症与治疗物质３００３００２５０２５０１Ｗ６１－－１９ 基于半监督和深度学习的生物实体关系抽取一两个语料集标注完成后，使用Ｃｏｈｅｎ的ｋａｐｐａ值分别对两个手工语料集标注致性．进行评测，在两个语料集上的得分分别是０．８６６和０９０３。Ｃｏｈｅｎ等人指出ｋａｐｐａ值。超过０．８则被认为语料集标注是有效的３２２．．实验巧置实验分别在疾病－病症和病症－治疗物质语料集上使用Ｃｏ－Ｔｒａｉｎｉｎｇ和Ｔｒｉ－Ｔｒａｉｎｉｎｇ方法进行，最终训练出两个模型，疾病与病症模型和病症与治疗物质模型。在训练过程中将特征核、树核和图核当作Ｈ个不同的特征集合。为了比较把任意两个不同特征集作为－Ｔ入视图的实验结果－ＴＣｏｒａｉｎｉｎｇ的输，在使用Ｃｏｒａｉｎｉｎｇ算法训练模型时，把实验分成－ＴｒａＨ组且所选择的实验参数相同。在使用Ｔｒｉｉｎｉｎｇ方法训练模型时，Ｈ个不同的特征－－Ｔｒａ集作为ＴｒＴｒａｉｎｉｎｇ的输入视图。在Ｔｒｉｉｎｉｎ。ｉｇ的训练过程中采用了两种集成学习方法一２集成方法１是兰个分类器用等权重的方式集成在起；集成方法是将兰个分类器按照一特征核、图核、树核Ｈ者权重比例为４：２：４２的方式集成在起。集成方法中的权重比例的选取是通过观察实验结果中在树核上训练的分类器的性能低于在特征核和图核上训练得到的分类器的性能，而在特征核和图核上学习得到的分类器性能相当。根据这个结论，在初始训练集上采用五倍交叉验证的方式选取适当的权重比例对Ｈ个分类器进行集成，最终确定集成时采用特征核：４：２。、图核和树核Ｈ者权重比例为４３－．３疾病病症模型表３．４表示分别在特征核、图核和树核上使用初始的疾病与病症的训练集训练出来的分类器的性能，分类器选用ＳＶＭ分类器。表３．４在疾病与病症测试集集上的初始结果－Ｔａｔ）．３．４Ｔｈｅｉｎｉｔｌｒｅｓｏｎｅｅａｓｅｓｍ化ｍ化ｉａ山ｔｓ化ｄｉｓｙｐＳｔＳ幻Ｐ（％）Ｒ（％）Ｆ（％）ＡＵＣ（％）￣特征核９１．３８６２．１１７３．９５８７．１３图核９３．８７５９．７７７３．０４８７．２１６９．１０６２．８９６５．８５７３树核．３７１２６．．．４７集成方法９．０５３２８巧００８９集成方法２９２．８１６０．５５７３．２９８９．７４－２０－ 大连理王大学硕±学位论文－３１ＣＴｉｉ．３．ｏｒａｎｎｇ实验结果与分析ｏ－＝使用ＣＴｒａｉｎｉｎｇ方法进行了兰组实验，每组实验都使用相同的参数，如ｗ４０００ｍ，，＝３００和１００。在这兰组实验中选择了不同的迭代次数，分别为１３１７２２和。实验结，果如表３．５所示。在迭代过程中，分类器的性能变化如图３．４，３．５和３．６。表３５－Ｔｒａｎｎ－．使用Ｃｏｉｉｇ方法在疾病病症测试集上获得的结果ｂ－－ｍＴａ．５ＴｒｅｓｕｓｉｎＣｏｒａｎｎｓｅ化ｍ化Ｓｔｓｅｔ．３ｈｅｌｔｏｂｔａｅｄｗｉ化ｔｉｉｇｏｎ化ｅｄｉｓｅａｓｙｐ〇％视图组合ＭＰ（／〇）ｒＴ（％）Ｆ）ＡＵＣ（％）（￣￣＾＾＾＾特征核与图核图核８３Ｊ６７１．８８７７．１５８７．５４特征核８６．０６６９说７７．１５８８．５１化几化化树核５７．８０９２．５８７１．１７７４．９９８４’〇４６９９２８６．０４酿与树核胃．７６．３３树核５８．１０９５１７２．３．；１９７８．１０￣——￣￣￣—巧＇＾￣—：１１Ｉ冷命．……－＇‘８８尔…呼．．．＇寸堂ｆｆ参企：；＿＾ｒ金二二？＿：■￣＊／＇；８４？？；：，２：＇；灼房ｉｇ；—＇■？ＷＴｔｆ竞■■；：Ｍ餐《…拂姐巧占玲理較；１：．Ｉ！Ｉ？＾路巧｜Ｉ對巧ＩＷ＊。－。，？〇１】３，？，Ｓ９１０ＩＩ１２１３。１２３４５６了ｇ占！ｇ速巧次巧巧巧次巧图３．４在特征核和图核上分类器的性能曲线Ｆ．．４Ｐｒｒｍｉ３ｅｆｏａｎｃｅｃｕｒｖｅｏｆｔｈｅｃｉｒｏｎｅａｕｒｅｋｅｒｎｅｎｄｒａｒｎｇｌａｓｓ巧ｅｓｆｔｌａｇｈｋｅｅｌｐ—．．！ａ９０—————一．，１’＇分六？、．令？Ａ＊Ａ．令？Ａ々．々心＂＊．．々Ｍ命今々々々？々々命々’々？？？？？．＊々令命命々令？Ａ々夸化’＂？，々＂．５＾６３岩６８Ｉ＊人：々粉叫＂甘竺Ｊ：？Ｌ，：，端：＂。０３６９２１巧１８２１２４？ｒ０｝６Ｓ口。１Ｓ２：２２７４这巧次技芭化Ａ巧图３．５在持征核和树核上分类器的性能曲线Ｆ．．ｉ３５Ｐｅｒｆｏｒｍａｎｃｅｃｕｒｖｅｏｆｔｈｅｃｌａｓｓｉｆｉｅｒｓｏｎｆｅａｔｕｒｅｋｅｒｎｅｒｅｅｇｌａｎｄｔｋｅｒｎｅｌ－２－１ 基于半监督和深度学习的生物实体关系抽取．—．—一．－７８９０，ｐｊ？－一＾化－＇一一＿＇？？一一／叶＂、户八：吿＂，。呈巧Ｖ？／／＇’三化ｆ？＊而运？■＊■１５＾Ｉ｜＂？－－Ｗ？■村巧寸一巧转｜Ｉ＾Ｗ＞２幻？化？Ｍ２２〇２４６８Ｊ０１２１４化！《２０巧〇７４６８ＳＪ１４１进巧欢坡法代巧孩图３．６在图核和树核上分类器的性能曲线Ｆｉ３．ｅｒｆｏｒｍａｎｃｅｃｕｒｖｅｏｆｔｈｅｃｌａｓｓｉｆｉｅｒｓｏｎｒａｐｈｋｅｒｎｅｌａｎｄｔ化ｅｋｅｒｎｅｌｇ．６Ｐｇ４．３．５３．６结论：从图３，和，我们能得到下面的－Ｔ１）随着迭代次数的增加，Ｆ值呈现上升的趋势。原因在于在Ｃｏｒａｉｎｉｎｇ的迭代过，程中，扩充为分类器提供，越来越多的未标注语料被标注后加入到训练集中了训练集一，。了新的信息，从而提升了分类器的性能然而经过定的迭代次数后分类器的性能不一（正会再被进步的提升，因为加入未标注语料的同时也引入了噪音数据例被预测为负例，负例被预测为正例）。２）在不同的视图的组合下，分类器的ＡＵＣ值有不同的趋势。特征核上的分类器的ＡＵＣ值在８８％左右浮动５－。，而图核上的分类器的ＡＵＣ值在８％８７％之间浮动与此相反，所有在树核上的分类器的ＡＵＣ值都呈现上升的趋势，原因在于在最初树核上的分，比较大。类器性能比较差而随着标注语料的加入，性能提升事实上，，半监督学习方法的性能通常是不稳定的这是因为在学习的过程中未标法入噪音－。在ＣｏＴｒａｉｎｉｎ，语料的加入，会间接的引ｇ方法训练的初期噪音数据的数量是一＾。很少的，未标注语料加入到训练集可式提升分类器的性能然而，经过定的迭代次数，越来越多的噪音数据被引入之后，这将导致分类器性能降低。３－．３．２ＴｒｉＴｒａｉｎｉｎｇ实验结果与分析－在我们的方法中，选择特征核Ｔｒａｉｎｉｎ的输入视图。在、图核和树核作为Ｔｒｉｇ－迭代过程中：ＴｒｉＴｒａｉｎｉｎｇ，使用ＳＶＭ在不同的视图上训练分类器。实验中参数设置如下＝＝＝＝ｍ４０００ｗ３００７１００＞０ａｎｄ。。，尸，２ｊＶ２７实验结果如表３．６和图３．７所不，，／／Ｔ－Ｔ从表３．４和３．６中可看到ｒｉｒａｉｎｉｎ算法后，分类器的性能有很明显的提，使用ｇ－Ｔｒａ升。这也表明Ｔｒｉｉｎｉｎｇ算法可Ｗ有效的利用未标注数据提升分类器的性能。原因和方－－２２ 大连理工大学硕±学位论文一一－法介绍时致。Ｔｒ，且不需要满足充分冗余视图ｉＴｒａｉｎｉｎｇ方法可Ｗ获得个满意的结果的约束和训练过程中对监督学习方法的使用约束。除此之外，当Ｈ个分类器不管是用集成方法１还是使用集成方法２集成，分类器的Ｆ值和ＡＵＣ值都能得到提升。此外，通过比较表３．５和表３．６的实验结果，我们不难发现，在大多数情况下，Ｔｒ－于Ｃｏ－－ｉＴｒａｉｎｉｎＴｒａｉｎｉｎ于ＴｒｉＴｒａｉｎｉｎ，ｇ的性能要优ｇ，原因在ｇ使用了；个分类器不仅解决了样本标注置信度问题，而且Ｈ个分类器使用集成方法可提升分类器的准确率和泛化能力。－－３．６ＴｒＴ表使用ｉｒａｉｎｈｇ方法在疾病病症测试集上的结果－ｗｈｈ－ｍ．ＴｒｓｕｏｂｎｅｄＴｒＴｒａｎｎｎｅｅａ化ｍＴａｂ．３６ｈｅｅｌｔｓｔａｉｉｉｉｇｏ化ｄｉｓｓｅｓｙｐ化ＳｔｓｅｔＰ％）Ｒ（％）Ｆ（％）ＡＵＣ（％）（８３．００．０８８１５１８８特征核８０．．８０７７．７４８５．９４８１图核．６３８９．８０５７４．１４７１３０７６树核．３８９．．００集成方法１７９．７９８７．８９８３．６４９１．５７２７９５５５８２．６４７５集成方法．９３８．９０．，．．＊人古ｖ＾＇．和考夺哈一，＇！公合合令冷舍合冷旁々令金―＾養＾＂．抽．．杨戶一々一：公钱合１巧］ＭＩ：塞Ｉ霉－－．，２ｊ＾ｊ私＇吝吝．＂５ｉｂｅｆｉ阳．＂．＂．ｉ？：—－—兰ｓ＊Ｉ＊６４ｋ—．．？ｈ，１——二二１２Ｔ．—Ａ０３６９ＵＩＳ！Ｓ２１２４２７０Ｊ６９１２玉Ｓ１８ｉｉｉ２７４法化次巧泣化次沒图３７－－Ｔｒａｎｎ．在疾病病症测试集上Ｔｒｉｉｉｇ方法的性能变化Ｆ－－ｍｍｉ．７ＴｈＴｒｉＴｒａｉｎｉｎｅｒｆｏｒｍａｎｃｅｎ化ｅｄｉｓ；ｅｇ．３ｅｇｐｏｓｅａｓｅｙｐ化ｌｓｔｓｅｔ３．４疾病与治疗物质模型表３．７表示使用ＳＶＭ分类器分别在特征核、图核和树核上使用初始的病症与治疗物质的训练集训练出来的模型的性能。－２３－ 基于半监督和深度学习的生物实体关系抽取表３．７在初始病症与治疗物质测试集上的实验结果Ｔ－ａｂ．３．７Ｔｈｅｉｎｉｔｉａｌｒｅｓｕｌｔｓｏｎｔｉｈｅｓｙｍｐｔｏｍｔｈｅｒａｐｅｕｔｉｃｓｕｂ訂ａｎｃｅ化巧ｓｅｔＰ％）Ｒ（％Ｆ％ＡＵＣ（）（）（％）特征核７９．３０９０．７６８４．６４８７．９０图核７６．２７９０．３６８２．７２８７．３０树核６８．９０８２．７３７５．１８７乂９４１５．９９１１３５４集成方法７化８．８７．５９集成方法２７７．８１９４．３８８５．３０８８．９４３４－．１ＣｏＴｒａｉｎｉｎｇ．实验结果与分析－实验中把特征集合分成了王个视图，分别是特征核，ｒａｉｎｉｎ，图核和树核在使用ＣｏＴｇ＝＝＝方法的实验中，把实验分成了Ｈ姐，ｗ，Ｈ组实验的参数相同ｗ４０００３００？５０。，实验，；中针对不同视图组合选取的迭代次数不同，分别为２７２６３．８，和９。实验结果如表所示，迭代过程中分类器性能变化如图３．８，３．９和３．１０所示。３－症－表．８使用ＣｏＴｒａｉｎｉｎｇ方法在病治疗物质测试集上的结果＊－－Ｔ．．Ｔ化ｉａｂ３８ｈｅｉｅｓ山ｔｓｉｎｗｉｔｈｃｒｎｉｎｏｎ化ｅｓｍ化ｍｈｅｒａｉｏｂｅｄｏｔａｇｙｔｅｕｔｃｓｕｂｓ化ｎｅｅ化ＳｔＳ巧ｐｐ￣〇〇〇Ｐ／〇民／Ｆ视图沮合ＯＴ（）（〇）（％）ＡＵＣ（／〇）￣特征核＾８＾化几＾：女＾＾化特化核与图核图核７１．５１９义８０８２．９７８６．４４特征核７８．７２９３．５７８５．５１８８．５１化特征核与树核树核６７．１３９７．５９７９．５４８１．７５７４．１４９５．５８８３．５１８７．７１赚与树核树核６７．８２９４．７８７９．０６８０．１４＇＇？冷？＇．今．夺々合々々合．的＇．．．々々皆々伞令？‘令舍於兮．命？＇々令々々令々令々冷？夺々今？夺命＂？２１化Ｗ？２；８０．＊．篇运８：８１＾Ｉ＇１余＾？々巧泣較＇．Ｓ怯態．巧ＩＩＩ７４，。〇３Ｃ９１２巧１８７１Ｍ巧公３６９口１５１８２１２４２７獲巧＆抜塔化茂巧图３．８在特征核和图核上分类器的性能曲线Ｆｉ．３．８Ｐｅｒｆｏｒｍａｎｃｅｃｕｒｖｅｏｆｔｈｅｃｌａｓｓｉｆｉｅｒｓｏｎｆｅａｔｕｒｅｋｅｒｎｅｌａｎｄｒａｈｋｅｒｎｅｌｇｇｐ－２４－－ｉ 大连理工大学硕±学位论文！？始；巧Ｉ］｜＇令今令夺冷’＇＇？？．，今々＇？．奋＇々＾．＇夺公々．舍备＊＾？＂．．Ａ？令＇＇■■＊命々々＇？＇■々＊令啼夺々－■々运？令个令夺＾於々々吟Ｍ：：８７粗‘■＇―－■■＾；：玄：：５！：：曲Ｍ■．量＾ｇ＜ｆ。ｒｅ．．＇．■？悼坟一料ｉＪ７４巧４〇２Ｃ８１０１２；４１６１８２石２３２４２６０２Ｊ凸８１０１２Ｕ１６】Ｓ２０２２２４２６这化扣：孜达化Ａ巧图３．９在特征核和树核上分类器的性能曲线Ｆｉ．３．９ＰｅｒｆｏｒｍａｎｃｅｃｕｒｖｅｏｆｃｌａｓｓｅｒｓｏｎｅａｔｕｒｅｅｌａｎｄｒｅｅｋｅｅｌｇｔｈｅｉｆｉｆｋｒｎｅｔｒｎＭ；。，基—空；执．．．＇．８＊■．＊這；琴；：ｒ－吉口，：；＂：。：；．￣￣，．．＇，，ｓ￣￣￣￣￣￣￣￣．■■—阳找Ｉ．＾３＂—，々０１２３４占６７８９０１２３４５６７８９沒化决没．＞玄巧化圾３１图．０在图核和树核上分类器的性能曲线Ｆ．１ｒｒｍｒｖｅｏｃａｓｓｅｒｓｏｎＧｒａｅｒｎｅａｎｄｒｅｅｅｒｎｅｉｇ３．０Ｐｅｆｏａｎｃｅｃｕｆｔｈｅｌｉｆｉｐｈｋｌｔｋｌ－从这些数据中我们可ｗ得到和疾病病症实验中相同的结论。在大多数情况下，ｏ－ｒａＣＴｉｎｉｎｇ方法可Ｗ提高分类器的性能，然而伴随着未标注语料的加入，噪音数据也会被引入，进而造成性能提升不稳定的情况。３４－．２ｉｉｉ．ＴｒＴｒａｎｎｇ实验结果与分析－Ｔｒａ二ｗ＝＝＝实验中ｉｎｉｎ，Ｗ４０００３００产１０００ａｎｄ７Ｖ２７。，Ｔｒｉｇ的参数设置如下，，，只？，戶实验结果如表３．９和图３．１１所示。－－表３．９使用ＴｒＴｒａｎｎｉｉｉｇ方法在病症治疗物质测试上的结果＊－－Ｔ３９ＴｈｅｒｅｓｗｉａｂｌｔｈＴｒｉＴｉｉｎｉｎ化ｈｅｒａｅｕｉｃｓｕｂａｎｃｅＳ．．ｕｔｓａｇｏｎｅｓｙｍｐ化ｍｔｐｔｓｔ化ｔｓｅｔ￣〇Ｐ（％）Ｒ（％）Ｆ（／〇）ＡＵＣ（％）特征核７８＾＾９３．５７８５．６６８８．９４图核７４．３１９７．５９８４．３７８７．７８６８．１９树核．０１９４．７８７９８１．１０７４．１２８８集成方法１．７７９８．８０８５０８．２７５＞１集成方法．６２Ｓ８．３９８５．５８９．１３－２５－ 基于半监督和深度学习的生物实体关系抽取Ｍ．■Ｍｆ１一＊＂？—一．一＂？？？？＊＊？￣￣秦啼不３节矿亦《Ｉ三之４Ｍ＇王啦幸？典阵Ｊ玉去二Ｍ．．８２＾否＂ＳＩ￣－？．Ｓ的．．．？，｝扣＞■＂－＊－－＊＊—？＝＿＿一＾一｜？，。ｉｆｓｎ質－巧■？？的！ｐ－ｎＫＡＡ？？＊；＊４ｉｉｆ！：｛＼一－ｇａ．．ｊＪｊ￣－＂…￣￣￣……一一７４＿－－■．巧货＾ｉｅ？孜巧１４Ｕｉｉ２０Ｓ了４ｉＳ巧１２１４巧巧埋化决巧迭化决投－－３．Ｕ治疗物质测试集上ＴｒＴｒａ图在病症ｉｉｎｈｇ的结果＊－－Ｆｉ．３１１Ｔｈｒｅｓ山ｆＴｒｉＴｉａｍｉｎｏｎｍｍｔｈｅｒａｅｕｔｉｃｓｕｂｓｔａｎｃｅ化Ｓｔｓｅｔ．ｅ化ｏｇ化ｅｓ化ｇｙｐｐＴｒｉ－Ｔｒａｎｎ３，通过比较表．７和表３．９，使用ｉｉｇ方法后分类器的性能显著提升，再次验证了该方法的效果，同时当Ｈ个分类器レッ４：４：２的比例集成时，ＡＵＣ值获得了最好的结果。比较Ｃｏ－Ｔｒａ－ｉｎｉｎ和ＴｒｉＴｒａｉｎｉｎ，ｇｇ两种方法的实验结果，很容易发现在大多数情况一－Ｔ－ｒａｎｎｏ－Ｔｒａｎｉｎ，下，ｒｉＴｉｉｇ方法优于Ｃｉｇ方法这也和疾病病症语料集上的结果致。主－Ｔｒａ－要原因是Ｔｒｉｉｎｉｎｇ的效率和泛化能力比ＣｏＴｒａｉｎｉｎｇ高。３．５实验结果与分析－－－上训练使用ＣｏＴｒａＴｉＴａｎｋｉ，得到了疾病ｉｎｉｎｇ和ｒｒｉｇ方法在两个语料集病症模型和Ｌ－ｉ，，ａ病症与治疗物质模型。从实验结果中可：＞看出在初始训练集少的情况下ＣｏＴｒｉｎｉｎｇｒ－和ＴｉＴｒａｉｎｉｎｇ两种方法都能利用未标注语料来提升分类器的性能。在大多数情况下，－Ｔｒ－于Ｃｏ－ＴｉＴｒａｉｎｉｎｇ的效果要优ｒａｉｎｉｎｇ。通过比较两个语料集上的实验结果，在疾病病－症模型上性能的提升效果要优于病症治疗物质模型上提升的效果，主要有。分析原因一－两个方面。是在两个语料上初始分类器的性能差距很大，在病症治疗物质语料集上，ｏ－ＴｎＴ－Ｔａｉ初始分类器性能偏高，在使用Ｃｒａｉｎｉｇ和ｒｉｒｉｎｈｇ算，性能提升的空间相对较小法训练后很难有很大的提升，。二是算法在迭代的过程中，加入未标注语料扩充训练集为训练集引入了新的分类信息，从而可レッ提升分类器的召回率，而在此过程中，噪音数据的引入会降低分类器的准确率。在初始训练集上分类器的准确率越高则在迭代过程中引入的噪音数据相对较低，性能提升越明显，。对比两个训练集上的初始分类器的性能－－病症语料集上在疾病病症语料集上初始分类器的准确率偏高。因此在疾病，使用－－ＴａＣｏＴｒａｉｎｉｎｇ和Ｔｒｉｒｉｎｉｎｇ方法分类器的性能提升明显。－２６－ 大连理工大学硕古学位论文－－综上所述，ＴｒｉＴｒａｉｎｉｎｇ方法比ＣｏＴｒａｉｎｉｎｇ更具有稳定性。在初始训练集小的情况下，使用这两种方法利用未标注语料都可提升训练效果。而且在初始训练集上分类器的准确率越高，在迭代过程中引入的噪音就越少，使用运两种方法提升结果的可能性就越大。３．６本章小结疾病－病症模型和病症－治疗物质模型的训练对今盾疾病－治疗物质的提取有着重要的意义，，。当前相关语料集的匿乏很难训练模型。为了解决这个问题我们首先人工标－病症语料集和病症－治疗物质语料集注两个语料集，疾病。然后使用半监督学习方法在－Ｔｒａ初始训练集规模很小的情况下利用未标注语料集来提升分类器的性能。使用ＣｏｉｎｉｎｇＴ－ａｒ，，和ｉＴｒｉｎｉｎ的方法结合特征核、树核和图核这Ｈ个不同的方法抽取疾病与病症ｇ病症与治疗物质之间的关系，，对，最终取得了很好的结果。此外我们的实验结果表明一步提升分类器的性能－Ｔ不同和方法的集成也能进，而且本章的实验中，Ｔｒｉｒａｉｎｉｎｇ的方－Ｔｒａ法要优于Ｃｏｉｎｉｎｇ。一在今后的工作中，方面，我们将研究更多的半监督学习方法，Ｗ更好地利用海量的生物医学文献资源一。另方面，我们将实验中训练出来的疾病与病症和病症与药物这，发现特定疾病的潜在治疗药物两种模型用于疾病和药物的知识发现。－２－７ 基于半监督和深度学习的生物实体关系抽取－４基于卷积神经网络的疾病病症和病症－治疗物质的关系抽取随着生物医学技术的飞速发展，公开发表的生物医学文章和研巧成果Ｗ及由此带来的潜在的生物医学知识正＾文飞快的速度递增。生物医学文献中有很多关于疾病、病症与治疗物质的信息。这些信息可［＾用于生物医学关系网络的构建Ｗ及药物的研发等。对研究生物过程具有重要的意义。第Ｈ章介绍的疾病－病症和病症－治疗物质关系抽取方法用于解决初始标注语料缺乏－Ｔ－的问题，该方法使用Ｃｏｒａｉｎｉｎｇ和ＴｒｉＴｒａｉｎｉｎｇ两个半监督学习方法在少量标注数据集上使用未标注数据辅助训练－－治疗物质模。最终得到了两个模型，疾病病症模型和病症型。然而由于训练过程中使用了传统。实验证明通过使用未标注语料可Ｗ提升模型性能的一一ＳＶＭ分类器。方面导致核函数的选取对模型的性能影响很大。另方面需要人工构造大量特征一一。这些因素导致在定程度上加大了研究的成本。因此本章提出了种基于卷积神经网络的方法进行疾病－病症和病症－治疗物质的关系抽取。在关系抽取中需要结合语义和句子层面的信息，在本章我们使用了卷积神经网络的－－方法在句子层面和语义级别上进行疾病病症和病症治疗物质的关系抽取，使用。首先Ｗｏｒｄ２ｖｅｃ工具包在所有的语料集上训练词向量。所有的单词都Ｗ词向量形式表示。其次在语料集上使用句子级别的特征作为卷积的输入，训练网络，在语料集上。与此同时，使用语义级别的特征作为卷积网络的输入训练网络，这两个网络采用相同的卷积核。将两个网络的输出通过不同的权重叠加作为抽取的特征。最终将抽取的特征向量作为标准神经网络的输入进行模型训练。４．１特征选择在本章中，单词最终都使用词向量表示，。词向量是在各自的语料上学习得到词向，因此在词向量中包含少量的未标注语料的信息量的训练中包含未标注语料。同时本文，训练方法和词向量相同的位置信息也是用向量的形式表示。本章所使用的特征主要有句子特征和语义特征。４．１．１句子特征句子特征是把整个句子作为输入，句子中的单词用词向量表示。其中句子特征由单词和单词的位置特征组成。（１）单词特征：分布式假设理论表明，在相同上下文出现的单词趋向于有相同的一含义。为了利用这假设，在卷积的过程中采用不同的窗口进行卷积，最终把卷积之后－２８－ 大连理工大学硕±学位论文＇的结果拼接起来。如句子５有ｎ个单词组成，则可表示为片ａＪｃ／；Ｃ２．．．；ｃ。＿／其中；ｃ，表，，，｝，示５中的第／个单词。句子中的单词特征可Ｗ用：Ｃ，表示。（２）位置特征：位置特征是单词在句子中相对于两个实体之间的距离，表示为当前单词的位置与实体位置么间的差值。位置信息可Ｗ间接的表示单词在实体关系抽取中一的重要程度，距离两个实体较远的单词，在实体关系抽取中作用小，重要性低。个单一，用成皮表示个实体的距离，词具有两个位置信息，。灰表示单词与第灰表示单词与第二个实体的距离＝。故句子Ｓ中第；个单词的位置特征可表示为公，［成皮］在句子特征，，中，位置特征信息主要是追加到单词特征后面，作为卷积神经网络训练的输入。’＝结合句子中的单词特征和位置特征！ｘ。故，句子中第个单词可表示为Ｗ，，坊，［］＝ｅｅＷＷ－，句子Ｓ的句子特征可表示为Ｆ机於…似｛ｆｔ，。／｝其中Ｓ中包含Ｍ个单词，在训练过程中，单词特征和位置特征都词向量的形式表示。４１．．２语义特征语义特征为关系抽取提供了很重要的特征，本章选取的语义信息主要包含句子片段特征和两个实体间最短路径特征。（１）片段特征；片段特征是由句子中两个实体的名称和两个实体之间的单词姐成。．听＿片段持征中包含的单词更能突出实体之间的关系。表示为似听．，听，／，，｝其中Ｓ表示在句子Ｓ中长度为５的片段，片段持征中包含的单词个数为Ｗ表示单词向量与距离向量的拼接，此处距离向量全部用０填充，目的是保持与句子特征中组成单词的向量的长度。（２）最短路径特征：最短路径特征主要是由ＧＤｅｐ解析句子，获得依存关系，通过依存关系找到两个实体之间的最短路径。选择最短路径上的单词作为最短路径特征。如图４．１表示句子Ｓ的依存图：ＶＭＯＤＥＮＴＲＹ１，ＥＮＴＲＹ，ｉｎｔｅｒａｃｔｅｄｗｉｔｈＥＮＴＲＹ２Ｖ／Ｖ＞、ｙ＼／ＮＭＯＤｓＵＢＰＭＯＤ图４．１句子的依存图Ｆ．．Ｄｉｇ４１ｅｐｅｎｄｅｎｃｙｒａｈｏｆａｓｅｎｔｅｎｃｅＳｇｐ通过ＮＭＯＤ（ＥＮＴ民Ｙｌ，ＥＮＴ民Ｙ）、ＳＵＢ（ＥＮＴ民Ｙ，ｉｎｔｅｒａｃ化ｄ）、ＶＭＯＤ（ｉＭｅｒａｃ化ｄ，ｗｉ化）和ＰＭＯＤｗｈｈＥＮＴＲＹ２一个ＥＮＴ民Ｙ找到１（实体１）到ＥＮＴ民Ｙ２（实体２）的最短（，），－２９－ 基于半监督和深度学习的生物实体关系抽取路径。使用最短路径上的单词作为最短路径特征。因此句子Ｓ的最短路径特征可表示为＝ＥＮＴＲＹ１ＥＮＴ民Ｙｉｎｔｅｒａｃ化ｄｗｉ也ＥＮＴ民Ｙ２。最短路径特征表示为０庐似取，，，｛化而（，，｝．．．狀＿／》７表示在句子５中最短路径的长度，最短路径特征包含的单词个数为昕，，，。｝其中，ｍ，Ｗ表示单词向量与距离向量的拼接，此处距离向量全部用０填充。，在文中用ｉｅｘ０语义特征可表示为片段特征和最短路径的拼接巧巧，八巧）｝）表示，主要是为了和句子特征中单词表示相同，且在此。在语义特征中引入的位置特征使用的位置特征的向量全部采用０填充。４２．实验方法一实验采用卷积神经网络的架构，通过个相同的卷积神经网络，把两个输入特征集一。组合在起。实验中所采用的网络架构如图４．２所示…；化：ＩＩＩＩＩＩＩＩＴｌＩ｜｜Ｉ「１＂二二二二二二二＝＝二享８－；呈三三三三三三或！：：－、＿？Ｘｎ１１＼Ｖ、＇、Ｌ－＊＼為＿—口？单词词向里位盖向里乂勺——＇＇．．＇‘■Ｗ．．．．４ｋ／／？参－－ｒＩｍｉｌ．’ｌ－ｒＨｒｒｒｒｉ概ＩＩＩｆ二二二＝二＝二二二受Ｉ；＾８／．．．．．．兰三ＥＥ三三．：］，ｆｌＩＩＩ１１＂１１ｔＩ单简词向重位舌向童卷巧层ＭａｘＰｏｏｈ巧诗证向里合成标巧巧经网络４２图．卷积神经网络的架构Ｆ．４．２ＴｒｒｌｕｉｏｎｌＮｒａｌＮｅｔｗｏｉｃｉｇｈｅｆａｍｅｗｏｋ〇ｎｈｅＣｏｎｖｏｔａｅｕ，在图４．２中，句子特征和语义特征同时使用相同的卷积核进行卷积即两个卷积神经网络共用卷积核。在语义特征中，距离向量全部用０填充。图中所有词向量为Ｖ０ｃａ６ｗｃ，＿■其中如表示语料集中单词的个数，５表示词向量的长度。位置特征的ｘｄ一词向量为献ｖｅｃ况於。其中属于位置特征的个数，＾表巧个位置向量的，＿长度。卷积核为Ｗ，则其中Ｗ表示卷积核的个数，《表示卷积核的宽度。－３０－ 大连理工大学硕±学位论文句子特征的输入为Ｆｅｅ倘，Ｆｅｅ倘其中是所有语料集和语义特征集中最大长度。语义特征的输入为￡份：巧），Ｚｅｘ巧）句子集特征经过卷积后得到向量０＿ｖｅｃ巧），０＿ｖｅｃ倘。语义特征经过卷积后得到向量０似：，＿巧）经过Ｍａｘｐｏｏｌｉｎｇ层之后，两个特征集的输入分别为／！ｖｅｃ＿Ｗ＂Ｉ和巧Ｍ也们都属于长度为ｉｘｗ的向量。最终特征向量表之居欠示为式。计算公式如下：Ｚ二Ｗｍｕｌ（ｈｓｈｖｅｃ＋ｍｕｌｈＷＩｈ！ｅｘＳ（１，，４．）＿＿巧ｙ）（＿＿（））ＸＷ是学习的参数＂＇，／ｉ其中／ｉ＿Ｗｆ如。ｗｍ／函数表示对应位置相乘。在得到之后，＿．２后面连接标准的神经网络。从图４中也可Ｗ看出，我们使用了不同大小的卷积核进行实验。在训练过程中，通过反向传播Ｗ，我们可ｌｉＵ川练的参数有：况ｖｅｃＬ，，／ｔＷｓＡＷ／化及标准神经网络中的参数。＿，＿，４．３实验结果及分析４．３１．语料介绍实验中所有语料均来自第Ｈ章中的疾病－病症和病症－治疗物质语料集。由于人工标，注的语料集规模比较小而在训练的过程中网络的参数比较多，在少量的语料集上无法－－－训练出来很好的参数，因此利用第Ｈ章ＴｒｉＴｒａｉｎｉｎｇ训练疾病病症和病症治疗物质送两个模型时加入的未标注数据。我们把添加的这些未标注语料加入到原有的标注语料集中，作为本章的语料集。语料集的详细信息如表４．１所示。添加进来的语料存在标注错误的可能。表４．１两个语料集的详细信息Ｔａｂ．４．１Ｔｈｅｄｅ巧ｉＩｓｏｆｔｗｏｃｏｒｏｒａｐ￣￣￣￣ＴＹ－语料集原有训练集测试集ｉＴｒａｉｎｉｎ方法获取的语料最终训练集ｇ－疾病病症＾４＾２＾病症－治疗物质６００５００１４５０２０５０４．３．２实验设置实验中使用了Ｈ种不同的卷积核，它们的卷积宽度不同，主要目的是为了通过卷积获得不同大小的上下文信息，在经过ＭａｘＰｏｏｌ之后，把Ｈ种不同卷积核的输出拼接在一起作为两个特征集的卷积输出一。同时文中采用的标准神经网络包含个隐藏层，即在－３１－ 基于半监督和深度学习的生物实体关系抽取一最终的向量合成之后，经过个隐藏层之后进行分类。在两个语料集上网络参数详细信息如表４．２所示。表４．２实验中所使用的参数Ｔ＊ａｂ．４．２ｅｒａｉａｍｅｔｅｒｓｕｓｅｄｎｏｕｒｅｘｅｒｉｍｅｎＨｙｐｐｉｐｔｓ语料集词向量长度位置向量长度卷积核大小隐层节点的个数－２＾疾病病症＾１００Ｘ３４５Ｘ２６０＾，，｛｝－２００病症治疗物质１０１００Ｘ３４５Ｘ２２０３００｛，，｝神经网络训练过程中动态的调整词向量和位置向量的值一方面因为在训练这两种。向量时，，所采用的训练语料比较少都是在各自的语料集（所有未标注和标注语料集）上训练得到的一一，训练出来的向量存在些不足。另方面，在训练过程中调整词向量和，促使运两种向量为这个任务而存在位置向量能更好地使他们满足分类的任务。同时在训练中学习爬和ＡＷ７，更好的把两个特征集融合起来。＿实验的评价指标准确率，Ｆ，，召回率值和ＡＵＣ值主要的对比实验是和第王章中－Ｔｒａｎ－使用Ｃｏｉｉｎｇ和ＴｒｉＴｒａｉｎｉｎ获得最好结果对比。ｇ４－．３３．疾病病症模型－在疾病病症语料集上，通过训练卷积神经网络训练，对测试集进行测试，最终的实验结果如表４．３所示。同时表４．３中也包含着第Ｈ章的初始训练集上集成方法２和－ＴｒｉＴｒａｎｎｏ－ｒａｎｎＨ章中最好的结果．同时ｉｉｇ训练中集成方法１的结果。ＣＴｉｉｇ方法采用第ＷＳｊ－采用Ｚｅｎ等人提出的抽取方法在疾病病症语料集上训练，结果如表４ｇ．３所示。４－表．３疾病病症测试集上实验结果对比Ｔａ－ｍｍｂ．４．３Ｃｏｍａｒｉｓｏｎｗｉｔｈ化ｅｒｅｓｕｌｔｏｎｄｓｅａｓｅｓＳｓｅｐｉｙｐ化化ｔｔＰ（％）Ｒ（％）Ｆ（％）ＡＵＣ（％）初始训练集９＾６０．５５８９．７４ｏ－Ｔｒａｎｎ８６Ｃ．０６２７７．１５８８．５１ｉｉｇ方法的冷Ｔｒ－Ｔｒａｎｎ７９巧．７９７．８９３６４１ｉｉｉｇ方法８８．９？Ｚｅｎｇ［４５］７９．０３８２．４２８０．６９９０．３８本章方法８９．０９７６．５６８２．３５９１．５６－由表４，，虽然没有ＴｒｉＴｒａｉｎｉｎ．３可Ｗ看出本章的方法取得了很好的实验结果ｇ的结Ｔ－Ｔ－果好，但相对于ｒｉｒａｉｎｉｎｇ中单个分类器而言，本章方法己经超过ＴｒｉＴｒａｉｎｉｎｇ中单个－３２－ 大连理工大学硕±学位论文分类器提升的性能。与Ｚｅｎｇ等人提出的关系抽取方法结果相比，本文的方法取得了较高的结果一一，方面是因为本文在所用的特征中加入了最短依存路径信息另方面，本文；在进行特征融合时考虑了特征权重的问题，Ｚｅｎｇ等人加入了传统特征，经过神经网络训练后选择简单的拼接，这样会导致很多特征兀余，而且在这样进行简单的拼接也会间接的降低某些特征的重要性。－４．３．４病症治疗物质模型－治疗物质语料集上在病症，通过训练卷积神经网络训练，对测试集进行测试，最终的实验结果如表４．４所示。同时表４．４中也包含着第Ｈ章的初始训练集上集成方法２－练中集成方法２的结果－和ＴｒｉＴｒａｉｎｉｎｇ训。同样ＣｏＴｒａｉｎｉｎｇ方法采用第王章中最好的结４５［］－果．同时采用Ｚｅｎｇ等人提出的抽取方法在病症治疗物质语料集上进行训练，结果如表４．４所示。４－表．４病症治疗物质测试集上实验结果对比Ｔｍｍ－ａｂ．４．４Ｃｏｍｐａｒｉｓｏｎｗｉｔｈ比ｅｒｅｓｕｌｔｏｎｓｙｐ化ｔｈｅｒａｐｅ山ｉｃｓｕｂｓ化ｎｅｅ化ＳｔｓｅｔＰ（％）Ｒ（％）Ｆ（％）ＡＵＣ（％）初始训练集７４．３８８５．３０８８＾９．９４－ＣｏＴｒａｎｉｎｌ＆．Ｔｌ．５７．５１ｉｇ方法９３８５．５１８８－ＴｒＴｒ７５．６２．．１．１３ｉａｉｎｉｎｇ方法９８３９８５５８９Ｚｅｎｇ［４５］７７．５２９５．５８８５．６１９１．４６８２０８９１．９７８６４本章方法．．７９１．７３－，由表４．４可看出本章方法在疾病治疗物质模型实验上取得了最好的结果，再次说明本章方法的有效性。４．３．５结果分析本章的方法在两个语料集上进行了实验，取得了很好的实验结果。在初始语料集规Ｔ－模很小的情况下，使用ｒｉＴｒａｉｎｉｎｇ的方法对标注语料集进行扩充。然后通过卷积神经网络模型进行训练，省去了很多特征工程的构建工作，而且还可Ｗ提升模型的训练结果。一－ｉＴｒａｉｎｉｎ比可，，通过两组实验中本章的方法和Ｔｒｇ方法的对１＾看出在定程度上本章－Ｔｒａ－的方法可在Ｔｒｉｉｎｉｎｇ的基础上提升模型的性能。而在疾病病症模型上，本节方法Ｔｒ－Ｔ弱于ｉｒａｉｎｉｎｇ的方法的可能原因在于，该语料集中加入了大量的未标注信息，这些＾－未标注语料存在噪音，而采用集成方法可心减少噪音的影响。尽管在病症治疗物质语－－３３ 基于半监督和深度学习的生物实体关系抽取－料集上也存在噪音问题，但加入的未标注语料的数量相对疾病病症语料集的少。相对－Ｔｒａ－于Ｔｒｉｉｎｉｎｇ的单个分类器的提升，本章的方法优于ＴｒｉＴｒａｉｎｉｎｇ方法。本章的方法在两个语料集上都优于Ｚｅｎｇ等人所提出的卷积神经网络进行关系抽取一的方法，方面是本文加入了依存路径上的最短路径信息，这样能更好的表达两个实体一方面本文在进行特征融合时，之间的关系；另，考虑了不同特征之间的差异性采用了不同的权重进行融合，突出重要特征的作用。４．４本章小结本节主要利用卷积神经网络模型，，把句子特征和语义特征通过不同的权重相结合最后将获得的特征向量用于关系抽取，。在初始标注语料集的数量少的情况下该方法结－Ｔｒａ合Ｔｒｉｉｎｉｎｇ方法对语料进行扩充，然后把扩充后的语料用本章方法进行训练。这在一定程度上减少了特征工程的构建－Ｔａｉｎｉｎ，同时也间接的证明了在使用Ｔｒｉｒｇ方法的实验中加入未标注语料的有效性。一同时本章使用的词向量也是在所有语料集上训练得到的，本身就包含些未标注语一料中的信息，也间接的利用了未标注语料信息，下步的工作是研究深度学习框架直接－利用未标注语料进行模型训练－。把训练好的疾病病症和病症治疗物质模型应用到疾病与药物的发现中。－３４－ 大连理工大学硕±学位论文５基于改进Ｔｒ－ｉＴｒａｉｎｉｎｇ方法的蛋白质关系抽取随着生物医学技术的飞速发展，生物医学研巧成果和医学论文献数量也在快速的増长，要从大量的生物文献中获取所需要的信息越来越艰难。蛋白质关系抽取是生物医学一信息抽取的个非常重要的组成部分，具有广阔的应用场景，它可Ｗ被广泛应用于蛋白质信息网络的构建、蛋白质关系的预测及药物的研发等。－Ｔｒａ－－ｉｎＴＴ第Ｈ章中使用两个半监督学习方法，Ｃｏｉｎｇ和ｒｉｒａｉｎｉｎｇ方法，训练疾病－病症模型和病症，最终获得了很不错的结果治疗物质模型。但是在训练过程中存在两一：个主要的问题第个问题是在使用半监督学习方法训练过程中，分类器会对未标注数据集进行标注，然后选择标注置信度高的样本集加入到训练集中，在此过程中可能会引入噪音数据，即标注错误的样本被加入到训练集中。第二个问题是在对未标注语料集进行标注后，所选取的未标注样本集问题，在半监督学习方法的训练中为了降低噪音数据一的引入，所引入的数据都是标注置信度高的语料，而从理论上讲，那些标注不致的样，对分类器的提升将会有更大的帮助本被正确标注后加入训练集。针对第Ｈ章使用半监督学习方法中面临的两个问题，本章在致力于解决这两个问题Ｔｒ－Ｔ的基础上使用ｉｒａｉｎｉｎｇ算法进行蛋白质关系抽取。主要是使用主动学习方法将选取的标注最不一致的未标注语料进行人工标注后加入到训练集中，这样既解决了训练过程一中噪音数据的引入，同时能更好的利用分类器所欠缺的些信息。这些信息的加入能更好的提升分类器的性能。５．１特征选择蛋白质关系抽取采用的特征选取的方法与第Ｈ章中疾病－病症和病症－治疗物质关系抽取的特征选取的方法相同，所选择的特征集都是特征核，树核和图核。不过特征核的选取中所使用交互词不同，。在进行特征选择时使用基于文档频率的特征选择方法最终选择特征８０００个。５．２算法设计－Ｔｒａ本章使用半监督学习方法中的Ｔｒｉｎｉｎ，ｉｇ的方法进行蛋白质关系抽取针对－题－ＴｒｉＴｒａｉｎｉｎｇ迭代过程中遇到的问，本章提出了扣Ｔｒａｉｎｉｎｇ和主动学习相结合的方法。在传统有监督的机器学习中需要大量的标注语料集进行训练分类器模型，然后再使用训练好的模型对未标法的语料集进行分类，。当训练的语料存在严重不足时我们需要人工－３－５ 基于半腔督和深度学习的生物实体关系抽取去标注数据集，然而由于标注语料集代价非常昂贵，而且既费时又费力，批量的人工标注语料显然是不现实的。因此我们采用了主动学习的方法进行未标注语料的标注。主动学习的核屯、思想是：不断的从未标注语料集中选取信息量丰富的语料，然后将这些语料交给专家进行人工标注，把标注后的语料集加入到训练集中，在新的训练集上重新进行实验。主要的目的是Ｗ最少的标注语料获得最佳的实验效果。－迭代过程中本文中在ＴｒｉＴｒａｉｎｉｎｇ，在对未标注语料进行选取时，采用主动学习的思想一，即选取兰个分类器标注不致的未标注语料集，然后进行人工标注，最后把标注的结果加入到训练集中，。在进行测试阶段使用兰个分类器进行集成。本文主要的算法流程如图５．１所示。＾ＶｉｅｗＶ，ｅｗ２ｅ＾Ｌｙｉ＼＾（＾＾｜－＇ＶｅｗｌＮ．Ｖｉｅｗｓｉｒｒ＾為ｍｍｍｍ臟＾ｉ１＾ｚｗ类器＜＾了讲娜里４ＹＪｉ￣￣略ｊＲｅｓｕｌｔＮ？逸跡爲不来碗—＿…ＪＩ涅巧是．Ａｉ榻ｉＪＳＬ图５．１算法框架＇ｍＦｉｇ．５．１Ｆｒａｍｅｗｏｒｋｏｆａｌｇｏｒｉ化本章所提出的算法的流程如图５．１所示，在使用该算法进行迭代过程中，要不断的一加入未标注语料集，训练停止条件是：达到定的训练次数或者是所有的未标注的语料集被完全标注。－３６－ 大连理工大学硕女学位论文５．３实验结果及分析５．３１．语料介绍蛋白质关系抽取中常用的五种公共评测数据集分别是ＡＩＭＥＤｉｏＩｎｆｅｒ、ＨＰＲＤ５０、、Ｂ圧ＰＡ和ＬＬＬ。送些语料集都是相关领域专家标注而成。所有的语料集都包含着很多句子。所有的句子都明确的标明存在的实体名称，实体的位置，Ｗ及实体之间是否存在关系，。本章主要使用的语料是ＡＩＭＥＤ语料集其他四组语料集被使用时充当未标注语料集。下面详细介绍ＡＩＭＥＤ语料集。ＡＩＭＥＤ语料集中收纳了２２５篇ＰｕｂＭｅｄ摘要，这些摘要中所包含的蛋白质对都使用蛋白质互作用数据库（ＤａｔａｂａｓｅｏｆＩｎｔｅｒａｃｔｉｎＰｒｏｔｅｉｎＤＩＰ），ｇ，进行了筛选然后经过该领域专家人±的标注，。最终形成了ＡＩＭＥＤ语料集该语料集中的标注蛋白质对有些是存在关系的，也有些是不存在关系的。表５．１是所有语料集的详细信息。表５．１语料集的详细信息Ｔａｂ．５．１Ｔｈｅｄｅｔａｉｌｏｆｃｏｒｐｏｒａ语料集句子数实例数正例数负例数ＡＩＭＥＤ５＾４＾Ｂｉｏｉｎｆｅｒ１１００８９２１２４３７６４８４ＨＰＲＤ５０１４５４３３１６３２７０圧ＰＡ邮６８１７３３５４８２ＬＬＬ７７３３０１６４１６６５．３．２实验流程一组实验本章的实验主要由两组实验组成，第，所有的数据都是来自ＡＩＭＥＤ语料，一即训练集、测试集和未标注语料集都来自于ＡＩＭＥＤ语料集。送部分是为了比较在初Ｔ－Ｔ始训练集大小不同的情况下，使用改进后的ｒｉｒａｉｎｉｎｇ方法后模型提升之间的差异，实验中选取了八组不同大小的训练集。首先把ＡＩＭＥＤ语料按照句子级别划分成十份（存一２一在个句子包含很多实例，如图．１，每次交叉验证中留份作为测试集，把其余的九份划分为训练集和未标注语料集，：。剩余九份划分成八组情况所选的策略为九份中任一份二意其中的、份、Ｈ份、四份、五份、六份、走份、八份作为初始训练集。剩下的作为未标记样本集。八组初始化训练集对应的样本个数为：５００，１０００，１５００，２０００，２５００，３０００３５００４０００。Ｔｒ－Ｔｉｉ。ｉｒａｎｎｇ方法第二组，，实验中所用的对比试验是跟没有进行改进的ＩＭＥＤ实验，所有的训练集和测试集都来自于Ａ语料，未标注语料来自其余的四个语料－３－７ 基于半监督和深度学习的生物实体关系抽取Ｔｒ－ＶＭ集ｉＴｒａｉｎｉｎｇ的方法的性能。试验中采用Ｓ进行不同视。主要目的是验证改进后的：：２（；图上的模型训练，Ｈ个视图上的分类器Ｗ４４特征核。在半监督学习的迭代过程中）图核；树核的比例进行集成。５．３．３结果分析一（１）第组试验５，其中正常训练是指只使图．２显示了在初始训练集大小不同的情况下的实验结果用初始训练数据训练出来的结果。０７：．０，１－．０．６５０．．…－０．６０…，命／一正常別练：‘■本义方法０’４ｆ〇〇１０００１５００２０００巧００３０００巧００４０００初她圳练樂数離图５．２不同初始训练集下的实验结果ｉｍｓｕｕｎｄｅｒｒｉｎｉｉａｌｉｉｎｓｅｔＦｉｇ．５．２ＥｘｐｅｒｅｎｔｒｅｌｔｓｄｉｆｆｅｅｎｔｔｔｒａｎｇＴ－５，由图．２可＾式看出，基于ｒｉＴｒａｉｎｉｎｇ的半监督学习方法在初始训练集相同的情况下加入未标记样本可Ｗ提升训练结果，同时在初始化训练集的大小不同的情况下，未标记一些差异５００￣样本的加入对实验结果的提升存在。初始训练集数量在１５００之间时结果？２５００之后，Ｆ值提升不提高的效果不如１５００２５００之间的好，在初始训练集数量超过一Ｌ，明显Ｊｌ：是前期的初始训练集数量很少训练。这种趋势存在的原因包括：下几个方面出来的分类器准确率很低导致加入的未标记样本时引入了很多的噪音，这些噪音数据的二是当初始训练集在？１５００２５００之引入对分类器产生了很大的干扰，影响了实验结果；Ｆ＾，间时，训练出来的分类器值在５５％文上，未标记样本的标注准确率有了很大的提高２５００后，，实验结果Ｆ值提升明显引入的噪音相对减少；Ｈ是当初始训练集数量大于－－３８ 大连理工大学硕±学位论文实验结果提升不明显，因为未标记样本很少，在迭代过程中加入到训练集中的未标记样本个数也很少，所Ｗ对实验结果的影响不大。在使用本章的方法训练时，前期实验结果提升的比较明显，随着初始训练语料的增力口，训练结果性能的提升不再明显。造成这些现象的原因如下。在初始化训练集很少的情况下，学习出来的分类器性能很差，此时分类器对未标注样本的准确率很低，在经过选择标注差异性大的样本经过人工标注加入到训练集中，分类器的性能会有很大的提，且此时未标注语料集也是很大的升。随着初始训练集的数量的增加，未标注语料集的数量相对减少。而且在初始训练集上学习得到的分类器性能随着初始训练语料集的增长越来越好，此时分类器对未标注语料集进行标注存在的差异也会降低。相对选取的未标，加入到训练集中的未标注语料的数量也会降低注语料集也很少，因此当初始训练集数一定量时，加入未标注语料集对实验结果影响不大量达到。初始训练集的数量不同时，未标记样本的数量也不相同，所Ｗ实验根据不同的初始训练集选择不同的迭代次数。本章选取四组初始训练集不同的实验结果进行分析，图５．３－Ｔａ器性能的变化表示使用Ｔｒｉｒｉｎｉｎ方法训练时。图ｇ，迭代过程中分类５．４表示使用改进－ａｎ后的扣打ｉｉｎｇ方法训练时。，迭代过程中分类器性能的变化。．＂－—Ｉ０．５巧．．广Ｉ１广Ｉ。棚：ｆ＼／＇讚。；．。、：Ｖ：户若０八＼．Ｊ卢少旷、＇．＇－Ｖ＂分Ｃ．化５．ｆＮ：＾墅故＆脚．‘．！蕾、：＾：／丫（ＵＷ？令，々兔Ｍ化．／，ｆｆ。．＊阳／／而Ｔ京＂為东祐赢／；，占＾扁而麻呵Ｉｒ石＂色￣３２４６８抚１２！４２４６５１０１？忠化次巧这巧茂哲。乂巧々獻Ｉ１１０々巧？崇？■？’，＞＂？、’？＼／令、〇６４？；／，。…－：、，．／‘。．＇？４。－Ｃ；。／ｆ＼气、°＇＂’．＇＂－■■：：墅声／、：＼／ｆ：７Ｚ＼ｔ又：＇？＇？、扫．《０＊／＞（，．＇、；任，巧寒＇令．Ｃ．Ｍ２／／；６．＊化／；０＊０？／，＾化脚，…。．＂，务々巧始沉棘招品々Ａ‘坊化刹给策ｗＩｆｏｏｊ｜ｌＯＳＭ．＊＾巧２ｊ２４６ａ阳１２１４＾Ｊ３４？８ｊ５ｉ边巧次技延巧Ａ效５－图．３ＴｒｉＴｒａｉｎｉｎｇ实验中分类器的性能曲线Ｆ５Ｔ－ｍｉ．．３ｈｅｅｒｆｏｒｍａｎｃｅｃｕｒｖｅｏｆｄｉｅｃｌａｓｓｉｆｉｅｒｓｕｓｅｄＴｒＴｒｔｇｉａｉｎｉｎｇｅｈｏｄｐ－３９－ 基于半监督和深度学习的生物实体关系抽取〇６０＇■．．。４？５（｜、、声、０怎。／．。巧Ｓ、一合０巧５＇＇■。＇５。—／。＊、＞、／ＯＷ安／爱Ｏ．Ｓ巧／巧＆ＷＳ－戶卢。伽／：０．的５／又巧０．．．。／令々衍曲巧■ｆ扭ｔ＾〇〇心令巧化捐练化１册〇／Ｉ｜．分Ｉ｜ａ＂：Ｓ＂￣￣＇〇２４６８１０１２１４３４￡８〇１ｉ拓４注化次巧沒化次巧ＣＷ０Ａ巧：ｉｊ１ＪＩ０６Ｃ８．．。—会＇＇秘、／、／＾０Ｍ．０／．．：：；＼／也Ａ＂＇分立喊＾＾＇卢、／：／卢、？：令；＊Ｍ化０．Ｍ３，歹／／？．６４４！／Ｃ．６０６參０．Ｍ０舍／．／。．６巧／々＇．Ｉ保波巧册；；而７知振的〇々巧扣Ｖ！右｜Ｉ护｜说３。．５〇Ｃ，０２６８１０１２４Ｃ２３５６７８９？１１４进化次沒逆代；Ｘ巧５４－图ｉＴｒａｉｎｉｎ．使用改进的Ｔｒｇ方法的实验中分类器的性能曲线Ｋｅｒｆｏｒｍａｎｃｅｃｕｒｖｅｏｆ－ｍｅｇ．５．４Ｔｈｅ化ｅｃｌａｓｓｉｆｉｅｒｉｓａｉｍｐｒｏｖｅｍｅｎｔＴｒｉＴｒａｉｎｉｎｔｈｏｄｐｇＬ５Ｊ从图．３中可：＞看出，随着迭代次数的增加，未标注语料被加入到训练集中，Ｆ值一一些局部迭代过程中Ｆ值出现波动情况都有定的提升，出现这种现象的原因。然而在一主要有两个方面，第，在迭代过程中，未标注语料的引入扩充了训练集，为分类提供了新的信息，提高了分类器的分类结果。第二，未标注样本被加入到训练集，也间接的引入了噪音样本，随着迭代次数的增加，噪音数据也在逐渐累积。噪音数据严重干扰了分类器的分类结果，造成实验中Ｆ值的波动。－从图５，ｒｉＴｒａｉｎｉｎ．４中可看出在使用本文改进的Ｔｇ方法中，Ｆ值随着迭代次数的一二增加有明显的上升。主要原因有：是消除了噪音数据的引入是在选取未标注数据；时选择分类器标注差异性大的样本，这些样本经过人工标注后加入到训练集中，可Ｗ提升分类器性能。２－且在迭从图５．５．３５．４１，ｉＴｒａｉｎｉｎ，和中可：＾看出本章的方法要优于Ｔｒｇ的方法，而－代过程中，使用本章的方法得到的分类器的Ｆ值变化比使用ＴｒｒａｉｎｉｎｉＴｇ方法得到的分类器要稳定。（２）第二组试验－４０－ 大连理工大学硕±学位论文－实验中选取其他四组语料集当作未标注语料集，使用改进后的ＴｒｉＴｒａｉｎｉｎｇ方法训练时，迭代过程中分类器性能变化如图５．５所示。从图５．５可＾文看出，本章的方法使用其他的语料作为未标注语料进行训练时，Ｆ值一从整体上呈现上升的趋势，方面因为加入的语料集包含了初始语料中没有的信息。另一方面添加的未标注语料集中不包含噪音数据。因此实验中添加未标注数据可提升实验结果。０．１１巧２，１１０＇．６８３＇０．．乂．６８４＾＾０．６Ｓ０；＊．．．．＾＾ｈｒ片ｉ０７２■－６＾：；；誦－义＇＇＼Ｉｉ＼命參改进的ｒ－ＴｉＴｒａｉｎｉｎｇ。抗２〇２４６８１０口１４遮代次数图５．５改进方法的实验结果Ｆｉ．５ｘｒｒｇ．５Ｔｈｅｅｐｅｒｉｍｅｎ化１ｅｓｕｌｔｓｏｆ化ｉｓｉｍｐｏｖｅｍｅｎｔｍｅ化ｏｄ５．３．４与其他方法的性能对比表５．２不同方法性能么间的比较Ｔａｂ．５．２Ｐｅｒｆｏｒｍａｎｃｅｃｏｍａｒｉｓｏｎｂｅｔｗｅｅｎｄｉｆｆｅｒｅｎｔｍｅｔｈｏｄｓｐ实验方法拒确晕（而）吾面＾（凉Ｆ值（％）￣Ｍｉｎｇ［３３］７４Ｊ４＾０Ｊ５钱伟中［３６６６．８０６１．２０６３．９０］Ｙａｎ１９５７．７２７０．０７６４．４１ｇ［］Ｔｒ－ｒｉＴａｉｎｉｎｇ的方法６３．４０６７．６０６５．８０一．６０６７．２３６６１本文的方法（第組实验）６６．９本文的方法（第二组实验）７３．３６６４．６０６８．８０－４－１ 基于半监督和深度学习的生物实体关系抽取表５，本章提出的基于．２是本章方法的实验结果与其他方法的实验结果的对比Ｔｒ－ｉＴｒａｉｎｉｎｇ改进算法结合特征核、图核和树核进行蛋白质关系抽取。与监督学习相比，Ｙａｎｇ等人中采用多核融合的方法，取得的实验结果Ｆ值６４．４１％，目前这种方法在进－行多核融合中取得效果最优。本章在此基础上采用了改进的ＴｒｉＴｒａｉｎｉｎｇ的方法取得了１较好的结果，原因有Ｈ点：（）本文采用文档频率的方法选取特征，去除特征中的冗余信息，提高分类准确率２），。（在依存树中加入了谓词参数路径上的特征丰富了树核信息。（３）在训练过程中，利用未标注语料扩充训练集，为分类引入新的信息，去ＰＷ－除兀余采用联合训练（ＣｏＴｒａｉｎｉｎ）的方法，取得实验。提高实验结果。钱伟中等人ｇＦ６３－－．９％ＣＴＣＴ结果值，与ｏｒａｉｎｉｎｇ方法相比，本文的方法优于ｏｒａｉｎｉｎｇ方法，原因在于本文的方法在选择未标注语料时选取的是分类器标注差异性最大的，然后人工标注后－加入训练集中，，消除了噪音数据的影响而且本文的方法是在ＴｒＴｒａｉｎｉｎ基础上改进ｉｇ的，，使用Ｈ个分类器也增加了集成的效果。使用本文提出的方法进行的第二组实验和一一组实验对比，，第，第二组实验的结果要优于第组实验因为第二组实验在初始训练集上加入了更多的未标注语料集，，这些未标注语料经过人工标注加入到训练集中増加了更多的信息。５．４本章小结－上进行了改进本章在半监督学习方法ＴｒｉＴｒａｉｎｉｎｇ的基础，结合主动学习方法进行蛋白质关系抽取。这种方法用特征核、图核和树核Ｈ个不同的视图作为输入训练出Ｈ个一分类器，然后用Ｈ个分类器对未标记的语料进行标注，然后把标注不致的样本使用主动学习的方法进行人工标注后加入到训练集中。最后将Ｈ个分类器使用集成的方法集成一，这种方法在Ａ，Ｆ在起对测试集进行预测ＩＭＥＤ语料集上取得了很好的实验结果值达到６８．８０％。本章还有很多要改进的地方，如迭代次数的选取，本章中根据实验的方式选取迭代一一次数，费时费力，而且很难找到个合适的迭代次数，下步的工作是控制迭代的次数，找到迭代结束的条件。－４２－ 大连理工大学硕±学位论文结论近年来，随着生物医学文献的飞速发展，公开发表的生物医学论文和研究成果也越来越多。自动从生物医学文献中挖掘有用的信息也成为医学研究着获取知识的重要组成部分。生物医学信息抽取技术能够将非结构化的，无序的文本信息转换成研究人员易于查询和管理的有结构化的信息。生物实体的关系抽取有助于构建实体之间的语义关系并，最终使用人们容易理解的方法将关系网络显示出来形成关系网络。本文围绕生物医学中实体关系抽取，开展下研究：（１）半监督学习方法的实体关系抽取针对在特定领域内的实体关系抽取中存在的标注语料不足的问题，本文采用半监督学习的方法进行实体关系抽取。半监督学习的方法试图让分类器自己主动地对大量未标－ｎ法样本进行标注Ｗ辅助少量的标注样本进行学习。本文第Ｈ章使用ＣｏＴｒａｉｎｉｇ和Ｔｒ－－－ｉＴｒａｉｎｉｎ两个半监督学习方法进行疾病病症和病症治疗物质的关系抽取，即解决了ｇ，，同时又提高了模型训练的效果我们标注语料少的问题。最后通过这两个模型的学习Ｔｒ－Ｔ可从进行疾病和治疗物质的发现。同时第五章在针对使用ｉｒａｉｎｉｎｇ方法训练时存在一－的两点不足，，是在ＴｒｉＴｒａｉｎｉｎ练过程中引入噪音数据ｇ训。二是在选取添加的未标一注数据时选取标注致的语料，这些语料为训练提供很少的信息，。为了解决这两个不足本文提出了半监督学习方法结合主动学习的方法进行生物医学文献中蛋白质关系抽取。实验结果表明该方法具有很好的效果。（２）深度学习方法的实体关系抽取使用半监督学习方法，不仅可Ｗ解决初始的标注语料集少的问题，同时可Ｗ提升模型的训练结果。但是在使用半监督学习方法进行生物实体关系抽取时，需要构建大量的恃征，这些特征构建的质量对实验结果影响很大。为了减少人王构建特征的复杂性，本文选取使用卷积神经网络的方法进行疾病－病症和病症－治疗物质的关系抽取。由于初始－，因此使用第章中的ＴｒＴｒａｉｎｉｎ。标注语料集规模比较小ｉｇ方法进行语料集的扩充最Ｔ－Ｔ终通过实验证明了本文方法的有效性，同时也间接的也验证了ｒｉｒａｉｎｉｎｇ方法扩充得到的语料集的质量。本文所提出的方法在生物实体关系抽取中取得了理想的结果，在未来的研充工作－－中，将应用本文所训练的疾病病症和病症治疗物质这两个模型进行疾病与治疗物质的一些集成学习的方法一挖掘之中，，Ｗ进。另外在未来的研究中可尝试步提升生物实体关系抽取的分类效果。－－４３ 基于半监督和深度学习的生物实体关系抽取参考文献－［１ＨｒｉｓｔｏｖｓｋｉＤＰｅｔｅｒｌｉｎＢＭｉｔｃｈｅｌｌＪＡｅｔａｌ．Ｕｓｉｎｌｉｔｅｒｂａｄｉ］，，，ｇａｔｕｒｅｓｅｄｓｃｏｖｅｒｙｔｏｉｄｅｎｔｉｆｄｉｓｅａｓｅｃａｎｄｉｄａｔｅｅｎｅｓ［Ｊ．Ｉｎｎａｉｏｎａｌｏｕｒｎａｌｏｆｍｅｄｉｃａｌｙｇ］ｔｅｒｔｊ－ｉｎｆｏｒｍａｔｉｃｓ２００５７４２．）：２８９２９８，，（Ｖａｎ—２ＰｈａｎｓａｌｋａｒＳｄｅｒＳｉｓＨＴｕｃｋｅｒＡＤｅｔａｌ．Ｄｒｕｄｒｕｉｎｔｅｒａｃｉｏｎｓｌｄ［］，ｊ，，ｇｇｔｔｈａｔｓｈｏｕ－ｂｅｎｏｎｉｎｔｅｒｒｕｔｉｖｅｉｎｏｒｄｅｒｔｏｒｅｄｕｃｅａｌｅｒｔｆａｔｉｕｅｉｎｅｌｅｃｔｒｏｎｉｃｈｅａｌｔｈｐｇｒｅｃｏｒｄｓ．ｏｕｒｎａｌｏｆｔｈｅＡｍｅｒｉｃａｎＭｅｄｉｃａｌＩｎｆｏｒｍａｔｉｃｓＡｓｓｏｃｉａｔｉｏｎ２０１３２０：［Ｊ］Ｊ（３），，４８９－４９３．３ＢｕｉＣＫａｔｒｅｎｋｏＳＳＰＭＡ－［］Ｑｌｏｏｔ．Ａｈｂｒｉｄａｒｏａｃｈｔｏｅｘｒｏｉｎｒｏｔｅｉｎ，，ｙｐｐｔｒａｃｔｐｔｅｐ－ｉｎｔｅｒａｃｔｉｏｎｓ．Ｂｉｏｉｎｆｏｒｍａｔｉｃｓ２０１１２７２日９．［Ｊ］：２２６日，，（）４ＺｈｕＺＹＤｏｎＳＪＹｕＣＬｅｔａｌ．ＡｔｅｘｔｈｂｒｉｄｃｌｕｓｔｅｒｉｎａｌｏｒｉｔｈｍｂａｓｅｄｏｎＨｏｗＮｅｔ［］，ｇ，，ｙ呂呂ｓｅｍａｎｔ－ｉｃｓＫｅＥｎｉｉｎｅｅｒｎｇＭａｔｅｒｉａｌｓ．２０１１４７４：２０７１２０７８．［口／／ｙｇ，５ＢａｄｅｒＧＤＢｅｔｅｌＤＨｏｇｕｅＣＷＶ．ＢＩＮＤ：ｔｈｅｂｉｏｍｏｌｅｃｕｌａｒｉｎｔｅｒａｃｔｉｏｎｎｅｔｗｏｒｋ［］，，－ｄａｔａｂａｓｅ．ｉｃａｃｉｄ１１２４８［Ｊ］Ｎｕｃｌｅｓｒｅｓｅａｒｃｈ：２５０．，２００３，３（）目ＸｅｎａｒｉｏｓＩＳａｌｗｉｎｓｋｉＬＤｕａｎＸａｌ．ＤＩＰｔｈｅＤａｔａｂａｓｅｏｆＩｎｔｅｒａｃｔｉｎ呂Ｐｒｏｔｅｉｎｓ：［］，，Ｊ，ｅｔ，ａｒｅｓｅａｒｃｈｔｏｏｌｆｏｒｓｔｕｄｙｉｎｇｃｅｌｌｕｌａｒｎｅｔｗｏｒｋｓｏｆｐｒｏｔｅｉｎｉｎｔｅｒａｃｔｉｏｎｓ［Ｊ］．Ｎｕｃｌｅｉｃａｃｓｒｅｓｅａｒｃｈ３０－１：０３３０５．ｉｄ２００（）３，么７Ｋ－ｉｌｉｃｏｇｌｕＨＳｈｉｎＤＦｉｓｚｍａｎＭｅｔａｌ．ＳｅｍＭｅｄＤＢ：ａＰｕｂＭｅｄｓｃａｌｅｅｏｓｉｔｏｒｏｆ［］，，，ｒｐｙ－ｂｉｏｍｅｄｉｃａｌｓｅｍａｎｔｉｃｐｒｅｄｉｃａｔｉｏｎｓ．Ｂｉｏｉｎｆｏｒｍａｔｉｃｓ２０１２２８（２３：３１弓８３１６０．［Ｊ］，，）８ＧａｏＪＤｅｎｇＬＧａｍｏｎＭｅｔａｌ．Ｍｏｄｅｌｉｎｇｉｎｔｅｒｅｓｔｉｎｎｅｓｓｗｉｔｈｄｅｅｎｅｕｒａｌｎｅｔｗｏｒｋｓ：［］，，，ｇｐＵ－－．Ｓ．Ｐａｔｅｎｔ２０１５０１３６３６８８．２０１５１２１７．，，，［門９ＨｉｌｌＦＣｈｏＫＫｏｒｈｏｎｅｎＡ．ＬｅａｒｎｉｎＤｉｓｔｒｉｂｕｔｅｄＲｅｒｅｓｅｎｔａｔｉｏｎｓｏｆＳｅｎｔｅｎｃｅｓｆｒｏｍ［］，，ｇｐ＇ＵｎｌａｂｅｌｌｅｄＤａｔａ．ＥｒｉｎｔＡｒＸｉｖ２０１６１６０２．０３４８３．［Ｊ］ｐ，，－ｌＯｏｈｎｓｏｎＲＺｈａｎ呂Ｔ．ＳｅｍｉｓｕｅｒｖｉｓｅｄＣｏｎｖｏｌｕｔｉｏｎａｌＮｅｕｒａｌＮｅｔｗｏｒｋｓｆｏｒＴｅｘｔ［ｊＪ，ｐＣａｔｅｏｒｉｚａｔｉｏｎｖｉａＲｅｉｏｎＥｍｂｅｄｄｉｎＣＡｄｖａｎｃｅｉｎＮｅｕｒａｌＩｎｆｏｒｍａｉＰｉｇｇｇ［］／／ｓｔｏｎｒｏｃｅｓｓｎｇｓｅｍｓ－Ｓｙｔ．２０１５：９１９９２７．ｅａ－［ｌｌｊＢｕｎｅｓｃｕＲＭｏｏｎｅａｍａｎｉＡｔｌ．Ｉｎｔｅｇｒａｔｉｎｇｃｏｏｃｃｕｒｒｅｎｃｅｓｔａｔｉｓｔｉｃｓｗｉｔｈ，ｙＲ，Ｒ，ｉｎｆｏｒｍａｔｉｏｎｅｘｔｒａｃｔｉｏｎｆｏｒｒｏｂｕｓｔｒｅｔｒｉｅｖａｌｏｆｐｒｏｔｅｉｎｉｎｔｅｒａｃｔｉｏｎｓｆｒｏｍＭｅｄｌｉｎｅＣ／／ＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅＷｏｒｋｓｈｏｏｎＬｉｎｋ！打ＮａｔｕｒａｌＬａｎｕａｅＰｒｏｃｅｓｓｉｎａｎｄ［］ｐｇｇｇ呂Ｂｉｏｌｏｇｙ：ＴｏｗａｒｄｓＤｅｅｐｅｒＢｉｏｌｏｇｉｃａｌＬｉｔｅｒａｔｕｒｅＡｎａｌｙｓｉｓ．Ａｓｓｏｃｉａｔｉｏｎｆｏｒ－ＣｏｍｐｕｔａｔｉｏｎａｌＬｉｎｇｕｉｓｔｉｃｓ２００６：４９５６．，－１２ＨｕａｎＭＺｈｕＸＨａｏＹｅｔａ．Ｄｓｃｏｖｅｒｉｎａｎｓｏｅｘｒａｃｒｏｎｒｏｔｅｎ［］ｇ，，，ｌｉｇｐｔｔｅｒｔｔｔｐｔｅｉｐｉ－ｉｎｔｅｒａｃｔｉｏｎｓｆｒｏｍｆｕｌｌｔｅｘｔｓ．Ｂｉｏｉｎｆｏｒｍａｔｉｃｓ２００４２０１８：３６０４３６１２．［Ｊ］，，（）－４４－ 大连理工大学硕女学位论文１３ＢｌａｓｃｈｋｅＣＡｎｄｒａｄｅＭＡＯｕｚｏｕｎｉｓＣｅｔａｌ．ＡｕｔｏｍａｔｉｃＥｘｔｒａｃｔｉｏｎｏｆＢｉｏｌｉｃａｌ［］，，，ｏｇｎｆｏｒｍａｍＳ－ＩｔｉｏｎｆｒｏｃｉｅｎｔｉｆｉｃＴｅｘｔ：ＰｒｏｔｅｉｎＰｒｏｔｅｉｎＩｎｔｅｒａｃｔｉｏｎｓＰｒｃＩｎｔＣｏｎｆ［Ｃ］／／ｏ－ＩｎｔｅｌｌＳｙｓｔＭｏｌＢｉｏｌ１９９９：６０７．，－１４ＺｗｅｉｇｅｎｂａｕｍＰＤｅｍｎｅｒＦｕｓｈｍａｎＤＹｕＨｅｔａｌ．Ｆｒｏｎｔｉｅｒｓｏｆｂｉｏｍｅｄｉｃａｌｔｅｘｔｍｉｎｉｎ：［］，，，ｇｒｏｒｅ—ｃｕｒｒｅｎｔｐ呂ｓｓ［Ｊ］．Ｂｒｉｅｆｉｎ呂ｓｉｎｂｉｏｉｎｆｏｒｍａｔｉｃｓ２００７８（弓）：３弓８３７５．，，－１５ＹｅｎＹＴＣｈｅｎＢＣｈｉｕＨＷｅｔａｌ．ＤｅｖｅｌｏｉｎａｎＮＬＰａｎｄＩＲｂａｓｅｄＡｌｏｒｉｔｈｍｆｏｒ［］，，，ｐｇｇ－－ＡｎａｌｙｚｉｎＧｅｎｅｄｉｓｅａｓｅＲｅｌａｔｉｏｎｈｉｓ．ＭＩｎｆＭｅｄ２００６４５ｓ＾］ｅｔｈｏｄｓ：３２１９．ｇｐ，，－１６ＨｕａｎｇＭＺｈｕＸＨａｏＹｅｔａｌ．Ｄｉｓｃｏｖｅｒｉｎｒｎｒｏｔｅｉｎｒｏｉｎ［］，，，ｇｐａｔｔｅｓｔｏｅｘｔｒａｃｔｐｐｔｅｉｎｒａｃｆ－ｔｅｔｉｏｎｓｆｒｏｍｕｌｌｔｅｘ．ｉｎｆｏｒｍａｔｉ２００４２０（１８）ｔｓ［Ｊ］Ｂｉｏｃｓ：３６０４３６１２．，，１７ＴｈａｎｉｄｉｓＩ．Ｓｔｖｅｃｔｃｈｉｎｅｌｅａｒｎｉｎｆｉｎｒｄｅ［］ｓｏｃｔａｒｕｐｐｏｒｏｒｍａｇｏｒｔｅｐｅｎｄｅｎｔａｎｄｓｔｒｕｃｔｕｒｅｄｏｕｔｕｔａｃｅｓ［Ｍ．Ｂｒｏｗｎｎｉｖｅｒｓｉｔ２００５．ｐｓｐ］Ｕｙ，１８ｉａＺｈｏｕＧｉ－］ＸｏＪＳｕＪｅｔａｌ．Ｐｒｏｔｅｎｒｏｔｅｉｎｎｔｅｒａｃｔｉｏｎｅｘｔｒａｃｔｉｏｎ：ａｓｕｒｖｉｓｅｄ［，，，ｐｉｐｅ－１ｅａｒｎｉｎｇａｐｐｒｏａｃｈ［Ｃ］／／ＰｒｏｃＳｙｍｐｏｎＳｅｍａｎｔｉｃＭｉｎｉｎｇｉｎＢｉｏｍｅｄｉｃｉｎｅ．２００５；５１５９．Ｚ－１９ＹａｎＴａｎＮＺｈａｎＸｅｔａｌ．Ｍｕｌｔｉｌｅｋｅｌｌｅａｒｎｉｎｉｎｒｏｔｅｉｎｒｏｉｎ［，，，ｒｎｅｔｅ］呂ｇｇｐｇｐｐｉｎｔｅｒａｃｔｉｏｎｅｘｔｒａｃｔｉｏｎｆｒｏｍｂｉｏｍｅｄｉｃａｌｌｉｔｅｒａｔｕｒｅ．Ａｒｉｆｉｉｌｉｎｔｅｌｌｉｅｎｃｅｉｎ［Ｊ］ｔｃａｇ－ｍｅｄｉｃｉｎｅ，２０１１，５１（３）：１６３１７３．２－ｉｌｓｅｎＡ．Ｅｘｔｒａｃｔｎｒｏｔｅｉｎｒｏｔｅｎｉｎｔｅｒａｃｉｏｎｓｕｓｎｉｍｅｃｏｎｔｅｘｔｕａｌ［０］ＮｅＬｉｇｐｐｉｔｉｇｓｐｌ－ｆｅａｔｕｒｅｓＣ］／／ＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅＨＬＴＮＡＡＣＬＢｉｏＮＬＰＷｏｒｋｓｈｏｐｏｎＬｉｎｋｉｎｇＮａｔｕｒａｌ［一ＬａｎｇｕａｇｅａｎｄＢｉｏｌｏｇｙ．ｓｓｏｃｉａｔｉｏｎｆｏｒＣｏｍｕｔａｔｉｏｎａｌＬｉｎｉｓｔｉｃｓ２００６：１２０１２１Ａｐｇｕ．，２－－１ｌｓａｌｏｏｒｎｅｓｒａｅｒｎｅｒｒｏｔｅｎｒｏ［ＡｉｒｏａＡＰｙｙＳＢｅｔａｌ．Ａｌｌｌｆｏｉｔｅｉｎ］，，ｊＪ，ｐａｔｈｇｐｈｋｐｐ－ｉｎｔｅｒａｃｔｉｏｎｅｘｔｒａｃｔｉｏｎｗｉｔｈｅｖａｌｕａｔｉｏｎｏｆｃｒｏｓｓｃｏｒｐｕｓｌｅａｒｎｉｎｇ．ＢＭＣ［Ｊ］ｂｉｏｉｎｆｏｒｍａｔｉｃｓ２００８９１１）：１．，，（２２ｎＬＺｈｏｕ一—ｉａＧ．Ｔｒｅｅｋｅｒｎｅｌｂ过ｓｅｄｒｏｔｅｉｎｒｏｔｅｉｎｉｎｔｅｒａｃｔｉｏｎｅｘｔｒａｃｔｉｏｎｆｒｏｍ［］Ｑ，ｐｐｏｕｒｎａｆｏｍｅｄ－ｂｉｏｍｅｄｉｃａｌｌｉｔｅｒａｔｕｒｅ．ｌｏｂｉｉｃａｌｉｎｆｏｒｍａｔｉｃｓ２０１２４日（３）：５３５５４３．［Ｊ］Ｊ，，ＹｏｏｎＹａｎｅｔａ－－２３ＫｉｍＳｌ．Ｗａｌｋｗｅｉｔｅｄｓｕｂｓｅｕｅｎｃｅｋｅｒｎｅｌｓｆｏｒｒｏｔｅｉｎｒｏｔｅｉｎ［］，Ｊ，ｇＪ，ｇｈｑｐｐｉｎｔｅｒａｃｔｉｏｎｅｘｔｒａｃｔｉｏｎ．ＥＭＣｂｉｏｉｎｆｏｒｍａｔｉｃｓ２０１０１１（１）：１０７．［Ｊ］，，２４ＭｉｌｌｅｒＤＪＵｙａｒＨＳ．Ａｍｉｘｔｕｒｅｏｆｅｘｅｒｔｓｃｌａｓｓｉｆｉｅｒｗｉｔｈｌｅａｒｎｉｎｓｅｄｏｎｂｏｔｈ［］，ｐｇｂａｌａｂｅｌｌｅｄａｎｄｕｎｌａｂｅｌｌｅｄｄａｔａＣ／／Ａｄｖａｎｃｅｓｉｎｎｅｕｒａｌｉｎｆｏｒｍａｔｉｏｎｒｏｃｅｓｓｉｎｓｙｓｔｅｍｓ．［］ｐｇ７－１９９：日７１５７７Ｒ－ｓｅｄｓｓ２５ＥｒｋａｎＧＯｚｇｕｒＡａｄｅｖＤＲｉｃｔｏｎｆｏｒＥｘｒａｃｒｏｎ［］．ＳｅｍｉＳｕｐｅｒｖｉＣｌａｉｆａｉｔｔｉｎ呂Ｐｔｅｉ，，ｒａｃ－－ＩｎｔｅｔｉｏｎＳｅｎｔｅｎｃｅｓｕｓｉｎＤｅｅｎｄｅｎｃ化ｒｓｉｎＥＭＮＬＰＣｏ化Ｌ２００７７：２２８２３７．ｇｐｙｇ［口／／，－［２６ＺｈｕＸｉＺＬａｆｆｅｒｔ．Ｓｉｉｓｌｉｎｕｓｉｎａｕｓｓｉａｎｆｉｅｌｄｓ］，Ｇｈａｈｒａｍａｎ，ｙＪｅｍｓｕｐｅｒｖｅｄｅａｒｎｇ呂ｇ２００３－ａｎｄｈａｒｍｏｎｉｃｆｕｎｃｔｉｏｎｓＣ／／ＩＣＭＬ．３：９１２９１９．［］，２７巨ｕｍＡＭｃｈｅｉ－ｉｌｌＴ．ｏｍｂｉｎｉｎｌａｅｄｎｄｕｎａｂｅｌｅｄｄａｔａｗｔｈｃａｉｎｎＣ／／［ｌｉｔＣｂｅｌａｌｏｔｒ［］］，ｇｇＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅｅｌｅｖｅｎｔｈａｎｎｕａｌｃｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔａｔｉｏｎａｌｌｅａｒｎｉｎ呂ｔｈｅｏｒｙ．－ＡＣＭ１９９８：９２１００．，－４５－ 基于半监督和深度学习的生物实体关系抽取ＷａｎＷ—［２８］呂ＺｈｏｕＺＨ．ＣｏａｉｎｉｎｗｉｉｎｓｉｃｉｅｎｔｖｉｅｗｓＣ／ＡｓｉａｎＣｏｎｆｅｒｅｎｃｅｏｎ，ｔｒ呂ｔｈｕｆｆ［］／Ｍａｃｈ－ｉｎｅＬｅａｒｎｉｎｇ．２０１３：４６７４８２．９ＷａｎＷ一［２］ｇＺｈｏｕＺＨ．Ａｎｅｗａｎａｌｓｉｓ曰ｆｃｏｔｒａｉｎｉｎ［Ｃ］／／Ｐｒｏｃｅｅｄｉｎｓｏｆｔｈｅ２７ｔｈ，ｙ邑呂－ＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＭａｃｈｉｎｅＬｅａｒｎｉｎｇＩＣＭ＾ＩＯ．２０１０：１１３５１１４２．（）ＷａｎＷＺｈｏｕＨ—３０Ｚ．ＡｎａｌｚｉｎｇｃｏｔｒａｉｎｉｎｓｔｌｅａｌｏｒｉｔｈｍｓＭＭａｉｎｅＬｅａｒｎｉｎｇ［］ｇ：ＥＣＭＬ，ｙｇｙ呂［］／／ｃｈ－２００７．ＳｉｎＢｅｒｌｉｎＨｅｉｄｅｐｒｇｅｒｌ＿ｂｅｒ呂：４５４４６５．，２００７３－［１］ＰｉｅｒｃｅＤ，ＣａｒｄｉｅＣ．Ｌｉｍｉｔａｔｉｏｎｓｏｆｃｏｔｒａｉｎｉｎｇｆｏｒｎａｔｕｒａｌｌａｎｇｕａｇｅｌｅａｒｎｉｎｇｆｒｏｍｌａｒｇｅｄａｔａｓｅｔｓ［Ｃ］／／Ｐｒｏｃｅｅｄｉｎ呂ｓｏｆｔｈｅ２００１ＣｏｎｆｅｒｅｎｃｅｏｎＥｍｐｉｒｉｃａｌＭｅｔｈｏｄｓｉｎＮａｒａ－ｔｕｌＬａｎｇｕａｇｅＰｒｏｃｅｓｓｉｎｇ．２００１：１９．ＭａｔｗｎＳ－［３２ＫｉｒｉｔｃｈｅｎｋｏＳｉ．Ｅｍａｉｌｃｌａｓｓｉｆｉｃａｔｉｏｎｗｉｔｈｃｏｔｒａｉｎｉｎｒｏｃｅｅｄｉｎｇｓｏｆ］，呂［Ｃ］／／Ｐｔｈｅ２０１１ＣｏｎｆｅｒｅｎｃｅｏｆｔｈｅＣｅｎｔｅｒｆｏｒＡｄｖａｎｃｅｄＳｔｕｄｉｅｓｏｎＣｏｌｌａｂｏｒａｔｉｖｅＲｅｓｅａｒｃｈ．－ＩＢＭＣｏｒｐ．２０１１：３０１３１２．，３３ＳｏｎＭＹｕＨＨａｎＷＳ－Ｃｉｎｉｎｉｖｌｉｎａｎｄｍｉｉｓｌｉｎ［］ｇ，，．ｏｍｂｇａｃｔｅｅａｒｎ呂ｓｅｓｕｐｅｒｖｅｄｅａｒｎｇ２０１ｔｅｃｈｎｉｕｅｓｔｏｅｘｔｒａｃｔｐｒｏｔｅｓｅｎｔｅｎｃｅｓ．ＭＣｉｏｎｆｏｒｍａｔｉｃｓ１ｑｉｎｉｎｔｅｒａｃｔｉｏｎ［Ｊ］Ｂｂｉ，，１２（Ｓｕｐｐｌ１２）：Ｓ４．Ｚｈｏｕ—３４ＺＨＬｉＭ．Ｔｒｉｔｒａｉｎｉｎ：Ｅｘｌｏｉｔｉｎｕｎｌａｂｅｌｅｄｄａｔａｕｓｉｎｔｈｒｅｅｃｌａｓｓｉｆｉｅｒｓ．［］，呂ｐｇ呂［Ｊ］ｎｅｅｒ－ＫｎｏｗｌｅｄｇｅａｎｄＤａｔａ巨ｎｉｉｎＩ目ＥＥＴｒａｎｓａｃｔｉｏｎｓｏｎ２００５１７（１１）：１５２９１５４１．ｇｇ，，，巧５］崔宝今，林鸿飞张霄．基于半监督学习的蛋白质关系抽取研究［］．山东大学学报：工，Ｊ２００９－学版３９（３）：１６２１．，，巧６伟中邓蔚．．］钱，，傅挪，等基于联合训练的蛋白质互作用信息抽取方法倡［Ｊ］计算机应用研究２０１１２８巧）．，，ＷｕＳＹ—３７ＣｈｏｕＣＬＣｈａｎＣＨ．ＳｉｓｕｒｖｉｓｅｄＳｅｕｅｎｃｅＬａｂｅｌｉｎｆｏｒＮａｍｅｄＥｎｔｉｔ［］，呂，ｅｍｐｅｑｇｙＥｘｒａｃｏｎＴｒ－ｔｔｉｏｎｂａｓｅｄｉＴｒａｉｎｉｎｇ：ＣａｓｅＳｔｕｄｙｏｎＣｈｉｎｅｓｅＰｅｒｓｏｎＮａｍｅＥｘｔｒａｃｔｉｏｎ［Ｊ］．ＳＷＡＩＥ２０４２０１４：３３．１，３ＨｉｎｔｏｎＧ目ＬｅａｒｎｉｎｄｉｓｔｒｉｂｕｔｅｄｒｅｒｅｓｅｎｔａｉｏｎｓｆｃＰｒｏｃｅｅｄｉｎｇｓｏｆ［引．ｇｐｔｏｏｎｃｅｐｔｓ［Ｃ］／／ａｌｃｔｈｅｎｖｅｓｃｉｅｎｃｅｓｏｃ．ｔｈｅｅｉｔｈｎｎｕａｏｎｆｅｒｅｎｃｅｏｆｃｏｉｔｉｉｅｔ．９８６１：１２ｇｈｇｙ１，３日ＢｅｎｇｉｏＹＳｃｈｗｅｎｋＨＳｅｎ爸ｃａｌＳｅｔａｌ．Ｎｅｕｒａｌｒｏｂａｂｉｌｔａｎｕａ［］ｉｓｉｃｌ，，Ｊ，ｐｇ呂ｅＭＩｉｉ．ＳｒｉｎｅｒＢｅｒ：ｍｏｄｅｌｓ［］／／ｎｎｏｖａｔ曰ｎｓｉｎＭａｃｈｉｎｅＬｅａｒｎｎ旨ｐｇｌｉｎＨｅｉｄｅｌｂｅｒ呂，２００６－１３７１８６．［４０］ＭｉｋｏｌｏｖＴＣｈｅｎＫＣｏｒｒａｄｏＧ，ｅｔａｌ．Ｅｆｆｉｃｉｅｎｔｅｓｔｉｍａｔｉｏｎｏｆｗｏｒｄｒｅｐｒｅｓｅｎｔａｔｉｏｎｓ，，ｉｎｖｅｃｔｏｒｓｐａｃｅ［Ｊ］．ＥｐｒｉｎｔＡｒＸｉｖ，２０１３，１３０１．３７８．４１ＭｉｋｏｌｏｖＴＳｕｔｓｋｅｖｅｒＩＣｈｅｎＫｅｔａｌ．Ｄｉｓｔｒｉｂｕｔｅｄｒｅｒｅｓｅｎｔａｔｉｏｎｓｏｆｗｏｒｄｓａｎｄ［］，，，ｐｐｈｒａｓｅｓａｎｄｔｈｅｉｒｃｏｍｐｏｓｉｔｉｏｎａｌｉｔｙ［Ｃ］／／Ａｄｖａｎｃｅｓｉｎｎｅｕｒａｌｉｎｆｏｒｍａｔｉｏｎｐｒｏｃｅｓｓｉｎｇ一巧ｓｔｅｍｓ．２０１３：３１１１３１１９．４２ＣｏｌｌｏｂｅｒｔＲＷｅｓｔｏｎＪＢｏｔｔｏｕＬｅｔａ．ｕｒａｌｎｕｃｅｓｓｉｎａｌｍｏｆｒｏｍｌＮａｔｌａａｇｅｐｒｏ（ｓｔ）［］，，，ｇｇ－ｓｃｒａｔｃｈ［Ｊ．ＴｈｅｎａｌｏｆＭａｃｈｉｎｅＬｅａｒｎｉｎｅｓｅａｒｃｈ２０１１１２；２４９３２５３７．］ＪｏｕｒｇＲ，，－４６－ 大连理工大学硕±学位论文４３ＫｉｍＹ．Ｃｏｎｖｏｌｕｔｉｏｎａｌｎｅｕｒａｌｎｅｔｗｏｒｋｓｆｏｒｓｅｎｔｅｎｃｅｃｌａｓｓｉｆｉｃａｔｉｏｎ．ＥｉｎｔＡｒＸｉｖ［］［Ｊ］ｐｒ，２０１４１４０８．５８８２．，［４４］ＺｈａｎＤＷａｎＤ．民ｅｌａｔｉｏｎＣｌａｓｓｉｆｉｃａｔｉｏｎｖｉａＲｅｃｕｒｒｅｎｔＮｅｕｒａｌＮｅｔｗｏｒｋ．Ｅｒｉｎｔｇ，ｇ［Ｊ］ｐＡｒＸｉｖ２０１５１５０８．０１００６．，，［４５ＺｅｎｇＤＬｉｕＫＬａｉＳｅｔａｌ．ＲｅｌａｔｉｏｎＣｌａｓｓｉｆｉｃａｔｉｏｎｖｉａＣｏｎｖｏｌｕｔｉｏｎａｌＤｅｅｅｕｒａｌ］，，，ｐＮＮｅｔｗｏＮＧ２０２－：ｒｋ［Ｃ］／／Ｃ０ＬＩ．１４：３３５２３４４．ＬｕＹＷｅＦＬ－［４６］ｉｉｉＳｅｔａｌ．Ａｄｅｅｎｄｅｎｃｂａｓｅｄｎｅｕｒａｌｎｅｔｗｏｒｋｆｏｒｒｅｌａｔｉｏｎ，，，ｐｙｃｌａｓｓｉｆｉｃａｔｉｏｎ＾．ＥｒｉｎｔＡｒＸｉｖ２０１５１５０７．０４６４６．］ｐ，，［４７］ＸｕＫ，ＦｅｎｇＹ，ＨｕａｎｇＳ，ｅｔａｌ．Ｓｅｍａｎｔｉｃｒｅｌａｔｉｏｎｃｌａｓｓｉｆｉｃａｔｉｏｎｖｉａｃｏｎｖｏｌｕｔｉｏｎａｌｎｅｕｒａｌｎｅｔｗｏｒｋｓｗｉｔｈｓｉｍｐｌｅｎｅｇａｔｉｖｅｓａｍｐｌｉｎｇ［Ｊ］．ＥｐｒｉｎｔＡｒＸｉｖ，２０１日，１己０６．０７目５０．４８ＭｉｗａＭＰｓａｌｏＳＨａｒａＴｅｔａｌ．Ａｃｏｍａｒａｔｉｖｅｓｔｕｄｏｆｓｎｔａｃｔｉｃａｒｓｅｒｓｆｏｒｅｖｅｎｔ［］，ｙｙ，，ｐｙｙｐｅｘｔｒａｃｔｉｏｎＣ／Ｐｒｏｃｅｅｄｉｎｓｏｆｔｈｅ２０１０ＷｏｒｋｓｈｏｐｏｎＢｉｏｍｅｄｉｃａｌＮａｔｕｒａｌＬａｎｕａｅ［］／邑ｇｇＰｒｏｃｅｍａ－ｓｓｉｎｇ．ＡｓｓｏｃｉａｔｉｏｎｆｏｒＣｏｐｕｔｔｉｏｎａｌＬｉｎｕｉｓｔｉｃｓ２０１０：３７４５．ｇ，４９ＫｌｅｉｎＤＭａｎｎｉｎＣＤ．Ａｃｃｕｒａｉｃａｌｉｚｅｄｉｎ［ＣＰｒ曰ｉｎｓ１ｓｔ［］，ｇｔｅｕｎｌｅｘｐａｒｓ呂］／／ｃｅｅｄｇｏｆｔｈｅ４—Ａ打ｎｕａｌＭｅｅｔｉｎｎＡｓｓｏｃｉａｔｉｏｎｆｏｒＣｏｍｔａｔｉｏｎａｌＬｉｎｉｓｔｉｃｓＶｏｌｕｍｅ１．Ａｓｓｏｃｉａｔｉｏｎ呂ｏｐｕｇｕｆｏｒＣｏｍｕ４２３－ｐｔａｔｉｏｎａｌＬｉｎｇｕｉｓｔｉｃｓ，２００３：４３０．５０ｒＣＶａｎ－ｗｏｒｋｓ［］ＣｏｔｅｓｉｋＶ．Ｓｕｏｒｔｖｅｃｔｏｒｎｅｔ［］，Ｍａｃｈｉｎｅｌｅａｒｎｉｎ，１９９日２０（３）；，ｐｐｐＪｇ，２７３－２９７．［ｏｌｊＨａｎｌｅｙＪＡＭｃＮｅｉｌＢ．Ｔｈｅｍｅａｎｉｎａｎｄｕｓｅｏｆｔｈｅａｒｅａｕｎｄｅｒａｒｅｃｅｉｖｅｒｏｅｒａｔｉｎ，Ｊ呂ｐｇ－ｃｈａｒａｃｔｅｒｉｓｔｉｃＯＣｃｕｒｖｅ．Ｒａｄｉｏｌｏ巧８２１４３１巧）［Ｊ］ｇｙ：２９３６．，，（）［弓２］ＢｒａｄｌｅｙＡＰ．ＴｈｅｕｓｅｏｆｔｈｅａｒｅａｕｎｄｅｒｔｈｅＲＯＣｃｕｒｖｅｉｎｔｈｅｅｖａｌｕａｔｉｏｎｏｆｍａｃｈｉｎｅｎＰａｒｎｒｅ－ｌｅａｒｎｉｇａｌｇｏｒｉｔｈｍｓ．ｔｔｅｃｏｎｉｔｉｏｎ１９９７３０（７：１１４５１１５９．！！］ｇ，，）［５３］ＹａｎｇＹ，ＰｅｄｅｒｓｅｎＪ０．Ａｃｏｍｐａｒａｔｉｖｅｓｔｕｄｙｏｎｆｅａｔｕｒｅｓｅｌｅｃｔｉｏｎｉｎｔｅｘｔ－ｃａｔｅｏｒｉｚａｔｉｏｎＣＩＣＭＬ．１９９７９７：４１２４２０．ｇ［］／／，５４ＣｏｌｌｉｎｓＭＤｕｆｆＮ，Ｃｏｎｖｏｌｕｔｉｏｎｋｅｒｎｅｌｓｆｏｒｎａｔｕｒａｌｌａｎｉｎｎｅｕｒａｌ［］，ｙｇｕａｇｅ［Ｃ］／／Ａｄｖａｎｃｅｓｆｏｒｍａ目２５—ｉｎｔｉｏｎｐｒｏｃｅｓｓｉｎｇｓｙｓｔｅｍｓ．２００１：６３２．［５５］ＡｒｏｎｓｏｎＡＲ．Ｍｅｔａｍａ：Ｍａｐｐｉｎｔｅｘｔｔｏｔｈｅｕｍｌｓｍｅｔａｔｈｅｓａｕｒｕｓ．ＢｅｔｈｅｓｄａＭＤ：ＮＬＭｐｇ［Ｊ］，，－ＮＩＨＤＨＨＳ２００６：１２６．，，［５６］Ｚｈａｎ呂Ｍ，ＺｈａｎｇＪ，ＳｕＪ，ｅｔａｌ．ＡｃｏｍｐｏｓｉｔｅｋｅｒｎｅｌｔｏｅｘｔｒａｃｔｒｅｌａｔｉｏｎｓｂｅｔｗｅｅｎｅｎｔｉｔｉｅｓｗｉｔｈｂｏｔｈｆｌａｔａｎｄｓｔｒｕｃｔｕｒｅｄｆｅａｔｕｒｅｓＣ／／Ｐｒｏｃｅｅｄｉｎ呂ｓｏｆｔｈｅ２１ｓｔ［］ＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔａｔｉｏｎａｌＬｉｎ呂ｕｉｓｔｉｃｓａｎｄｔｈｅ４４ｔｈａｎｎｕａｌｍｅｅｔｉｎｇｏｆｔｈｅＡｓｓｏｃｉａｔｉｏｎｆｏｒＣｏｍｐｕｔａｔｉｏｎａｌＬｉｎｇｕｉｓｔｉｃｓ．ＡｓｓｏｃｉａｔｉｏｎｆｏｒＣｏｍｐｕｔａｔｉｏｎａｌｓｔ－Ｌｉｎｇｕｉｉｃｓ２００６：８２５８３２．，［５７］ＣａｒｌｅｔｔａＪ．Ａｓｓｅｓｓｉｎ呂ａｇｒｅｅｍｅｎｔｏｎｃｌａｓｓｉｆｉｃａｔｉｏｎｔａｓｋｓ：ｔｈｅｋａｐｐａｓｔａｔｉｓｔｉｃ［Ｊ］．－Ｃｏｍｕ：ｔｉｏｎａｌｌｉｎｕｉｉｃｓ１９９６２２（２：２４９２５４．ｐｌａｇｓｔ，，）－４７－ 基于半监嘗和深度学习的生物实体关系抽取攻读硕±学位期间发表学术论文情况－－１病症和病症．疾病治疗物质的关系抽取研究．，杨志豪计算机工程冯钦林，林鸿飞与应用，拟刊登在２０１７年第５期（本硕±学位论文第王章）ｉ－ＳｕｅｒｖｉｓｅｄＬｅａｒｎｉｎＢａｓｅｄＤｉｓｅａｅｔｏｍａｎｄＴｈｅｕｔ２ＳｅｍｓＳｙｍｐｅｒａｉｃＳｕｂｓｔａｎｃｅ民ｅａｔｎｐｇｌｉｏ，ｐＥｘｔｒａｃｔｉｏｎｆｒｏｍＢｉｏｍｅｄｉｃａｌＬｉｔｅｒａｔｕｒｅ。ｉｎｌｉｎＦｅｎｇＷｈａｏＹａｎＨｏｎｆｅｉＬｉｎｂｉｏｍｅｄＱ，Ｚｇ，ｇ，ｒｅｓｅａｒｃｈｉｎｔｅｒｎａｔｉｏｎａｌ．本硕ｉ学位论文第兰章和第四章）（在投）（－４８－ 大连理工大学硕±学位论文致谢时光匆匆而过，Ｈ年的研究生生涯即将结束。细细回想这Ｈ年的点点滴滴，我成长了很多，也学到了很多。在经历了人生中的大起大落之后，对于生活有了自己的理解。一在这里感谢那些陪伴我成长的老师和同学，感谢这路的教诲和照顾。首先要感谢的是我的导师杨志豪教授，。在我研究生期间杨老师在学术上给予我全，面的指导和帮助，每当我在科研中遇到困难，老师总能指导我找到问题根源帮助我找到合适的解决方案，让。同时杨老师脚踏实地、精益求精的科研态度深深的影响着我我一颗敬畏之也，，在我人生低对科研始终怀着。在生活上杨老师同样给予我很大的鼓舞，给予我无私的帮助，给我信必，让我对生活充满希望谷时。其次要感谢的是林鸿飞教授。林老师是我们实验室的精神领袖，在他的带领下，实验室拥有很好的科研氛围。同时林老师在培养实验室成员的个人能力上也下了很大的功夫，在新生刚进入实验室时，林老师总会组织新生参加训练，让他们更快的熟悉研究方一向和提升自身的能力，每年都姐织实验室活。在生活上林老师是位非常积极向上的人一动，如徒步、新年晚会，让、羽毛球比赛等。这些都深深的影响着我我时刻保持个积一屯、极的态对待学习和生活，同样也让我更加努力成为位积极乐观之人。再次要感谢的是实验室中其他的老师Ｗ及师兄师姐师弟和师妹。感谢你们在科研和工作上给予我帮助，。感谢你们营造的良好的学习氛围你们的欢声笑语让我对生活充满一、让我走过了这段幸福且有意义的时光信屯。谢谢你们的陪伴。，最后感谢我的家人，感谢你们这么多年对我求学的支持感谢你们帮我承担起了本一直在关屯、该由我承担的责任，。这么多年来和支持着我并带给我无数次的温暖。让我一、、屯的求学，你们给予了我最无私的爱在这Ｈ年里能安安屯。同样你们也给予了我承担切的勇气。一，祝大家在今后的人生中切安好再次向所有帮助过我的人说声谢谢。－－４９ 大连理工大学硕±学位论文大连理工大学学位论文版权使用授权书本人完全了解学校有关学位论文知识产权的规定，在校攻读学位期间论文工作的知识产权属于大连理工大学，允许论文被查阅和借阔。学校有权保留论文并向国家有关部口或机构送交论文的复印件和电子版，可Ｌ乂将本学位论文的全部或部分内容编入有关数据库进行检索Ｌ，可乂采巧影印、缩印、或扫描等复制手段保存和汇编本学位论文。：台矣学位论文题目装丰Ａ私省扼魏斯尔的＇车朵她心＜＾）年：马施故日期：方／月日作者签名导师签名：日期；又＾年（月日枯走＿［三
此文档下载收益归作者所有
