基于Attention Bi-LSTM的文本分类方法研究

《基于Attention Bi-LSTM的文本分类方法研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、硕士学位论文基于AttentionBi-LSTM的文本分类方法研究作者姓名王恰学科专业软件工程指导教师吴庆耀副教授所在学院软件学院论文提交日期2018年5月ResearchonTextClassificationBasedonAttentionBi-LSTMADissertationSubmittedfortheDegreeofMasterCandidate：WangQiaSupervisor：Prof.WuQingYaoSouthChinaUniversityofTechnologyGuangzhou,China分类号：TP391学校代号：10561学号：201520134

2、323华南理工大学硕士学位论文基于AttentionBi-LSTM的文本分类方法研究作者姓名：王恰指导教师姓名、职称：吴庆耀副教授申请学位级别：工学硕士学科专业名称：软件工程研究方向：数据挖掘论文提交日期：2018年4月20日论文答辩日期：2018年5月21日学位授予单位：华南理工大学学位授予日期：年月日答辩委员会成员：主席：陈健委员：吴庆耀、杜卿、陈俊颖、陈阳摘要摘要随着信息技术的不断发展，互联网上产生出了大量文本数据。文本分类技术作为组织和处理大量文本数据的关键技术也同时得到了快速的发展。虽然文本数据蕴含了丰富的信息，但由于具有非结构化的特点，使得计算机无法直接进行计算处

3、理，进而无法获取到有价值的信息。文本分类技术的核心在于文本的向量化表示。传统的文本表示方法是基于关键词设置和词频统计，这种方法的缺点在于忽略了词语之间的关联关系和隐藏在文本上下文中的语义信息，并且提取到的特征向量具有高维度和高稀疏性的缺点。随着深度学习技术的不断发展，深度神经网络模型被证明在非结构化数据的特征提取方面具有独特的优势。本文在总结研究传统文本特征提取和分类方法的基础上，对运用深度神经网络模型解决文本分类问题进行了深入研究。本文的主要研究工作有：本文研究分析了文本分类问题中的几个关键步骤。首先对词嵌入技术进行了研究。词嵌入能够通过神经网络将词语映射到一个低维度的实数

4、向量中，有效避免了传统词向量缺乏语义信息的缺点。之后对文本特征提取和分类方法进行了研究，认为在传统方法中，特征向量维度往往较大，并且忽视了文本中词序信息的重要性。本文认为，利用LSTM处理序列化数据的优势，将LSTM运用在文本进行特征提取和分类任务中，能够在最大程度上解决传统方法中存在的问题。本文在基于LSTM的特征提取与分类模型的基础上，提出将注意力机制与Bi-LSTM模型相结合的策略来解决文本分类问题，进一步提升分类模型的性能。融合注意力机制后的Bi-LSTM模型能够通过计算中间状态与最终状态之间的相关关系得到关于注意力的概率分布，目的在于对每一时刻下的状态加以不同的权重

5、，能够在保留有效信息的基础上，最大程度解决信息冗余的问题，通过优化文本特征向量进一步提升文本分类的精度。关键词：文本分类；词嵌入；文本特征提取；LSTM模型；注意力机制I华南理工大学硕士学位论文AbstractWiththecontinuousdevelopmentofinformationtechnology,alargeamountoftextdatahasbeengeneratedontheInternet.Textautomaticclassificationtechnologyhasalsobeenrapidlydevelopedasakeytechnologyfo

6、rorganizingandprocessinglargeamountsoftextdata.Althoughtextdatacontainsawealthofinformation,duetoitsunstructuredcharacteristic,computerscannotcalculatewithitdirectlyandthuscannotobtainvaluableinformation.Thecoreoftextclassificationtechnologyisthevectorizedrepresentationoftext.Thetraditional

7、textrepresentationmethodisbasedonkeywordsettingandwordfrequencystatistics.Thedisadvantageofthismethodisthattheassociationrelationshipbetweenwordsandthesemanticinformationhiddeninthetextcontextareignored,andtheextractedfeaturevectorshavetheshortcomingsofh