基于潜变量的PCA降维方法在文本分类问题中的应用

《基于潜变量的PCA降维方法在文本分类问题中的应用》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、硕士学位论文⑩基于潜变量的ＰＣＡ降维方法在文本分类问题中的应用作者姓名吕建科指导教师张朋教授学科（专业）统计学所在学院数学科学学院提交日期２０１８年１月独创性声明本人声＋明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。据我所知，论，除了文中特别加以标注和致谢的地方外文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得浙江大学或其他教育机一构的学位或证书而使用过的材料。与我同工作的同志对本研究所做的任何贡献均己在论文中作了明确的说明并表示谢意。学位论文作者签名：签字日期：如Ｊ年名月２日

2、学位论文版权使用授权书本学位论文作者完全了解浙江大学有关保留、使用学位论文的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和借阅。本人授权浙江大学可以将学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。（保密的学位论文在解密后适用本授权书）学位论文作者签名：导师签名：签字曰期：年月曰签字曰期：年月曰＞丨＆４￥５７学位论文作者毕业后去向：Ｈ＞工作单位：：电话通讯地址：邮编摘要文本分类是实现处理和利用海量文本信息的有效方式，尽管在过去几十年文本

3、分类领域关键技术已经取得了重大发展、高稀疏，但是随着大数据时代的到来，具有高维程度特点的文本分类性能上还有很大改进空间．本文针对文本分类问题高维、稀疏的特点，对基于主成分分析的特征选择方法进一ＰＣＡ行改进．基于，提出了种对于基于潜变量的主成分降维方法潜变量的降维方法假设生成文本的过程中特征词的选择由服从正态分布的潜变量所决定，用数学期望估计特征取值的真实值，增加特征词出现时的权重，实验表明该方法能够有效减少特征维度并实现更好的分类效果，分类准确率提升５％左右．关键词：文本分类；特征降维；主成分分析；潜变量表示ＩＡｂｓｔｒａｃｔＴｅｘｔ

4、ｖｅ－ｃａｔｅｇｏｒｉｚａｔｉｏｎｉｓａｎｅｆｆｅｃｔｉｍｅｔｈｏｄｔｏｄｅａｌｗｉｔｈｌａｒｅａｍｏｕｎｔｏｆｔｅｘｔｉｎｇｆｏｒｍａｔｉｏｎｔｔｔｉｔｔｔｔｉ．Ｉｎｈｅａｓｆｅｗｄｅｃａｄｅｓ，ｋｅｅｃｈｎｏｌｏｉｅｓｎｈｅｆｉｅｌｄｏｆｅｘｃａｔｅｏｒｉｚａｏｎｐｙｇｇｈａｖｅｄｅｖｅｌｏｅｄｓｉｎｉｆｉｃａｎｔｌｈｏｗｅｖｅｒｓｉｎｃｅｔｈｅｔｒａｄｉｔｉｏｎａｌｔｅｘｔｒｅｒｅｓｅｎｔａｔｉｏｎｉｓｏｆｐｇｙ，，ｐ＇ｈｉｈｄｉｍｅｎｓｉｏｎａｌｉｔｙａｎｄＷｈｓａｒｓｉｔｔｈｅｒｅｓｓ

5、ｔｉｌｌｌｅｎｔｏｆｒｏｏｍｔｏｉｍｒｏｖｅｉｎｔｅｘｔｇｇｐｙ，ｐｙｐｃａｔｅｏｒｉｚａｔｉｏｎｗｉｔｈｔｈｅａｒｒｉｖａｌｏｆｔｈｅｅｒａｏｆｂｉｄａｔａ．ｇｇＴｈｉｓａｈ－－ｅｒａｉｍｓａｔｔｈｅｈｉｄｉｍｅｎｓｉｏｎａｌａｎｄｓａｒｓｅｆｅａｔｕｒｅｓｏｆｔｅｘｔｃｌａｓｓｉｆｉｃａｐｐｇｐｎｎｄｒ－ｔｈｆｌｔａｌｂｌａｔｔｒｅｒｅｔｉｏａｏｏｓｅｓａｍｅｏｄｏｒｉｎｃｉａｃｏｍｏｎｅｎｎａｓｉｓａｓｅｄｏｎｅｎｐｐｐｐｐｙｐｓｅｎｔａｔｉｏｎｗｈｉｃｈｈａｓｉｍｒｏｖ

6、ｅｄｔｈｅｅｒｆｏｒｍａｎｃｅｏｆｒｉｎｃｉａｌｃｏｍｏｎｅｎｔａｎａｌｙｓｉｓ．ｗｅｐｐｐｐｐｔｔ？ｓｕｏｓｅｔｈａｔｈｅｃｈｏｉｃｅｏｆｆｅａｕｒｅｗｏｒｄｓｉｎｅｎｅｒａｔｉｎｔｅｘｔｓｉｓｄｅｔｅｒｍｉｎｅｄｂｔｈｅｌａｐｐｇｇｙｔｅｎｔｖａｒｉａｂｌｅｓｓｕｂｅｃｔｔｏｎｏｒｍａｌｄｉｓｔｒｉｂｕｔｉｏｎｉｎｔｈｅｍｅｔｈｏｄｏｆｒｉｎｃｉａｌｃｏｍｏｎｅｎｔｊｐｐｐａｎａｌｓｉｓｂａｓｅｄｏｎｌａｔｅｎｔｒｅｒｅｓｅｎｔａｔｉｏｎａｎｄｅｓｔｉｍａｔｅｔｈｅｔｒｕｅｖａｌｕｅ

7、ｏｆｔｈｅｆｅａｔｕｒｅｙｐｍｅ？ｖａｌｕｅｗｉｔｈｍａｔｈｅｍａｔｉｃａｌｅｘｅｃｔａｔｉｏｎ．Ｅｘｅｒｉｍｅｎｔｓｓｈｏｗｔｈａｔｔｈｉｓｔｈｏｄｃａｎｅｆｐｐｆｅｃｔｉｖｅｌｙｒｅｄｕｃｅｔｈｅｆｅａｔｕｒｅｄｉｍｅｎｓｉｏｎａｎｄａｃｈｉｅｖｅｂｅｔｔｅｒｃｌａｓｓｉｆｉｃａｔｉｏｎｒｅｓｔｉｌｔｓｂｙｉｎｃｒｅａｓｅｄｔｈｅｗｅｉｈｔｏｆｔｈｅｆｅａｔｕｒｅｗｏｒｄｗｈｅｎｉｔａｅａｒｓｉｎｔｈｅｔｅｘ