基于深度学习的医疗命名实体识别.doc

《基于深度学习的医疗命名实体识别.doc》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、基于深度学习的医疗命名实体识别作者：张帆王敏来源：《计算技术与自动化》2017年第01期        摘要：在较为深入地研究医疗文本实体识别的现有方法的基础上，设计一种基于深度学习的医疗文本实体识别方法。本文在医疗文本数据集上进行实体识别对比实验，所识别目标实体包含疾病，症状，药品，治疗方法和检查五大类。实验结果表明，设计的深度神经网络模型能够很好的应用到医疗文本实体识别，本文所设计的方法比传统算法（如CRF）具有较少人工特征干预及更高的准确率和召回率等优点。        关键词：实体识别；数据挖掘；深度学习；医疗信息        中图分类号：U491.

2、14文献标识码：ADOI：10.3969/j.issn..2017.01.025        1引言        医疗文本实体识别是医疗知识挖掘，医疗智能机器人，医疗临床决策支持系统等应用领域的重要基础工作。最近一大批在线医疗信息，社区及远程问诊网站及其应用迅猛发展。这些网站为病患者提供多元化的医疗信息获取渠道。同时产生大量疾病问答信息与医疗文本。这些信息将汇成一股非常可观的大数据。并且这些医疗文本中有大量真实的个人案例，潜藏着丰富的医疗价值。但是这些医疗文本大多处于一种非结构化的状态。为充分挖掘其中的价值，并为接下来医疗问答等应用打好基础工作，医疗文本实体

3、识别是必不可少的步骤。        2相关工作        命名实体识别这个概念是在MUC6（MessageUnderstandingConference）会议被提出。命名实体识别主要任务是识别出文本中出现专有名称和有意义的数量短语并加以归类。通用的命名识别主要包含实体（组织名、人名、地名），时间表达式（日期、时间），数字表达式（货币值、百分数）等。在生物医学领域，目前比较集中的研究是针对医学文献中的基因、蛋白质、药物名、组织名等相关生物命名实体识别工作[1]。随着医疗系统的信息化，也出现大量针对电子病历进行的识别工作。        目前常用的命名实体识别

4、方法分为两大类：基于规则和知识的方法与基于统计的方法。基于规则和知识的方法是一种最早使用的方法，这种方法简单，便利[2]。基于规则和知识方法缺点是需要大量的人工观察，可移植性较差。基于统计的方法将命名实体识别看作一个分类问题，采用类似支持向量机，贝叶斯模型等分类方法；同时也可以将命名实体识别看作一个序列标注问题，采用隐马尔可夫链、最大熵马尔可夫链、条件随机场等机器学习序列标注模型[3-6]。这些方法都需要人依靠逻辑直觉和训练语料中的统计信息手工设计出大量特征。这些统计学习方法识别性能很大程度上依赖于特征的准确度，所以要求团队中要有语言学专家。        加拿

5、大多伦多大学的Hinton教授[7]提出深度学习的概念，在全球掀起一次热潮。深度学习通过模仿人脑多层抽象机制来实现对数据（图像、语音和文本等）的抽象表达，将特征学习和分类整合到一个统一的学习框架中，从而减少手工特征制定的工作量。最近几年来，深度学习在图像识别和语音识别等领域已经取得巨大成功。深度学习技术在原始字符集上提取同样也受到很多关注。因为深度学习技术可以在原始字符集上提取高级特征，所以本文利用深度学习技术在大量未标记医疗语料上无监督地学习到词特征、不用依赖人工设计特征，从而达到实体识别的目的。        针对实体识别这一任务，本文用到神经网络语言模型对

6、词进行分布式表达。神经网络语言模型利用神经网络对词的概率分布进行估计、生成模型，从而得到词与词之间的关系；同时该模型是一种无监督训练模型，可以从大量未标记的非结构化文本中学习出词语的分布式表示，并且可以对词语之间的关系以及相似度进行建模。        神经网络语言模型（NNLM）[8]是2003年由Bengio提出，直至近年来由于硬件成本降低、文本数量急剧增加，神经网络语言模型开始逐渐被应用到多种自然语言处理任务中，并取得了不错的效果。纵观神经网络语言模型的演变过程，同样也说一个逐步完善和逐步应用的过程。2011年Mikolov等[9]使用循环神经网络改进了B

7、engio的神经网络语言模型，该模型在语音识别上的应用性能要优于传统的n-gram语言模型。2011年Collobert等[10]提出了一个统一的神经网络架构及其学习算法，并设计了SENNA系统可用于解决语言建模、词性标记、组块分析、命名实体识别、语义角色标记和句法分析等问题。2013年Zheng等[11]在大规模未标记数据集上改进了中文词语的内在表示形式，并使用深度学习模型发现词语的深层特征以解决中文分词和词性标记问题。2016年ZJiang等[12]提出一种基于图的词向量表达，并将其应用到医疗文本挖掘中。2016年SRGangireddy等[13]提出一种自

8、适应的RNN神经网络语言