基于attention-based lstm模型的文本分类技术的研究

《基于attention-based lstm模型的文本分类技术的研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、－’、’．‘：左：、户请一ＷＶＶ－＇Ｋ＇子、扛．‘■＇＇乂．ｖ？二；、／、Ｖ部费公心，．－．昏．＇．懲．务Ｎ如、．？翁．？试．＇．■？，．心．Ｗ．綠々＇：．；？．每方；公＇．‘‘．．－Ｋ．‘：：．．乂磬．＞．：捶載復讀＾．枯作品；马—Ｖ甚聋；某研究生毕业论义／瑪常试？矜、＇‘＇户．■语．巧．？，．．私、诗磯：王＾；、Ｃ矜！（申请学硕去学位｝’’＇、－？．一’．、．＇＇＇．＂？’，一－．．．Ａ屯：＊，＇钟？疗味、／；备

2、Ｖ心＼＇．＇．‘Ｗ？－．＇六护．．。备Ｖ、＇卸一＇’＇‘，＇吟為－－：’、、＇：＇：可公；＾７．７／｝兴＇■■ｒ■■－＇■ＡｔｔｅｎｔｉｏｎＢａｓｅｄＬＳＴＭ型的诚，模；沦文题目基于．．＾；吉文、巧鮮文本分类技术的研究；；；穿，一．．作者姓名义聖＿＾Ｖ；黨＇．／＾’：’■－王程：ｒ专业名称．嗦款＿＿软件．．＇？‘＊．、、、？＊＜户、‘’’＾向自然语言处理片．＞；為辆究方；ｖ．、．、、０赵志宏教授指导教师；，心．

3、７；．＇．＇＇＇．；、＇＇’＂个‘。脚＊＇、．中Ｖ，尸‘．．三Ｖ／／乂／．？－－ｖＶＣ．ｒ，‘‘尸、八．游心＊巧＾；：：扇巧，．：满知々，二；．；．．－＾２０１６－＾＾．５；：年．＇？？＞媒叫，＾．每冻以知从：．女？＇／、’＂．＇．．．苗＾．Ｖ；；；．铃Ｖｋ，少載睾：‘＇＂、．、’．：＂．、＂—￣＇，＇心。＂＂、‘？—游‘．、．．、＾合、．＾－．铺＾．＾若扇、又：．．＞：＃；？．，．、＇、－－’．：屯ｖｒ＇、．ＶｓＶ诗．

4、ｖ＿学号：ＭＧ１３３２０１９论文答辩日期：２０１６年５月２５曰指导教师：么＃（签字）－Ｂａ基于ＡｔｔｅｎｔｉｏｎｓｅｄＬＳＴＭ模型的文本分类技术的研究作者：张冲指导教师：赵志宏教授南京大学研究生毕业论文（申请工学硕±学位）南京大学软件学院２０１６年５月ＴｅｘｔＣｌａｓｓｉｆｉｃａｔｉｏｎＢａｓｅｄｏｎＡ村ｅｎ－ｔｉｏｎＢａｓｅｄＬＳＴＭＭｏｄｅｌＺｈａｎｈｏｎｇ，ＣｇＳｕｂｍｉｔｔｅｄｉｎａｒｔｉａｌｆｕｌｆｉｌ

5、ｌｍｅｎｔｏｆｔｈｅｒｅｕｉｒｅｍｅｎｔｓｆｏｒｐｑｔｈｅｄｅｒｅｅｏｆＭａｓｔｅｒｏｆＥｎｉｎｅｅｒｉｎｇｇｇＳｕｐｅｒｖｉｓｅｄｂｙＰｒｏｆｅｓｓｏｒＺｈａｏＺｈｉｈｏｎ，ｇＳｏｆｔｗａｒｅＩｎｓｔｉｔｕｔｅＮＡＮＪＩＮＧＵＮＩＶＥＲＳＩＴＹＮａｎｉｎＣｈｉｎａｊｇ，Ｍａ２０１６ｙ，南京大学硕±论文摘要摘要文本分类是自然语言处理领域的一个经典的研充方向，传统的研究涉及到文本的预处理、文本特征的提取、机器学习分类器训练等方

6、面。随着深度学习技术在图像识别，深度学习模型被证明在，机器翻译等领域取得了很大的进展数据预处理和特征提取方面有着很大优势。本文在研究分析和总结文本向量表示技术和深度学习模型ＬＳＴＭ原理的基，对运用深度学习模型解决文本分类问题做了深入的研究础上。本文的主要研究工作如下；（１）针对文本分类中数据表示的高维度难Ｗ训练和向量表示特征无关的问一题，采用了ＷｏｒｄＥｍｂｅｄｄｉｎｇ机制，将文本数据映射到个低维度的实数向量，避免了高维度的输入导致ＬＳＴＭ模型产生维度灾难的问题。同时

7、ＷｏｒｄＥｍｂｅｄｄｉｉｎｇ机审ｊ训练出的词向量具有同义词向量相似的特征，作为ＬＳＴＭ模型的输入，提高了分类器的性能。－（２）针对文本分类的特征选择问题，本文设计了Ａｔｔ飢ｔｉｏｎＢａｓｅｄＬＳＴＭ模型用于提取特征，其中ＬＳＴＭ模型解决了传统ＲＮＮ的梯度消失的问题，通＂＂过３种口的控制，解决了ＲＮＮ模型训练中的长期依赖问题。同时本文通－过ＡｔｔｅｎｔｉｏｎＢａｓｅｄ的方法，得到含有输入序列节点注意力概率分布的语义编码，并将其作为分类器的输入，减少了特征向量提取过程中的信

8、息丢失和信息几余。－（３）针对ＬＳＴＭ模型的前向依赖问题，本文设计了组合正逆序ＡｔｔｅｎｔｉｏｎＢａｓｅｄＬＳＴＭ模型－，组合正逆序向量作为特征向量，将ＢｉＬＳＴＭ模型作为对比模型，探究文本上下文对文本分类的影响。、关键词：文本分类特征提取、深度学习、注意为概率分布、ＬＳＴＭ模型Ｉ南京大学硕：ｉ：论文ａｂｓｔ巧ｃｔＡｂｓｔｒａｃｔ＂Ｔｅｘｔｃｌａｓｓｉｆｉｃａｔｉｏｎｉｓａｃｌａｓｓｉｃａｌｔ