一种基于非监督判别语义特征提取文本分类算法

《一种基于非监督判别语义特征提取文本分类算法》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、一种基于非监督判别语义特征提取文本分类算法摘要：语义特征提取对于实现文本数据特征空间降维，滤除数据噪声，提高文本数据分类准确率有着重要的意义。论文在传统特征提取算法的基础上提出了一种非监督判别语义特征提取降维算法，并对此进行了算法有效性论证和实验结果比较及分析，验证其在分类准确性、时间复杂度、抗噪能力等方面都有较好的性能。关键词：特征提取非监督判别规则拉普拉斯矩阵局部密度矩阵中图分类号：TP391.1文献标识码：A文章编号：1007-9416(2012)11-0128-021、引言在互联网日益发达的今天，数据库和网络的大量普及

2、，各种电子文本数据急剧增加。如何快速有效地检索数据信息，并管理使用这些信息，已成为智能信息科学领域不容忽视的重要课题，内容文本分类是根据给定文本的内容，将其判别为事先确定的若干个文本类别中的某一类或某几类的过程[1],可以在较大程度上解决目前“信息爆炸”的现象,方便用户高效无误地定位所需的信息。语义特征提取是内容文本分类中一项关键技术，但目前没有哪个算法在处理高维数据时能够较好地兼顾算法效率、分类准确率、召回率等方面［2］。本文在借鉴现有文本分类算法和分析高维数据降维后重构特征项信息的基础上，提出了一种非监督判别语义特征提取算

3、法。该算法考虑到文本特征的复杂性及多标记和文本数据小样本特征稀疏性等特点，通过实验验证其在分类准确性、时间复杂度、抗噪声能力等方面都有较好的性能。2、基于黎曼流形的非监督判别特征提取规则2.1Fisher判别分析准则国内外的特征提取技术总体来说可分为两大类：线性特征提取和非线性特征提取［3］。目前，对于样本数据的高维特性，如何实现负责数据降维是线性特征提取算法研究的侧重点。Fisher判别分析是典型的线性特征提取方法［4］。FDA研究的目的是在投影后的样本中寻求一个最佳特征空间，使其实现最大的类间散度矩阵最大而类内散度矩阵最小

4、。FDA中判别规则的构造充分考虑了局部类别信息特征压缩后，数据判别特征的保留，这适合于髙维、小样本情况的算法设计，而文本分类问题正是对高维数据的处理分类。但由于文本数据特征高维稀疏，构造类内散度矩阵困难，故文本分类又有别于FDA的特征提取。2.2基于黎曼流形映射的非监督判别准则黎曼流形映射的目的是期望寻找产生数据集的内在规律性，即从观察数据中寻找其本质，从高维的输入空间中发现其内嵌的低维流形，在低维空间内恢复数据集的内在的几何结构。基于流形映射的非监督判别准则考虑数据局部分布，进行相似矩阵的构造。这种判别准则是流形映射中的线性

5、化算法，属非监督特征抽取方法，和大多数其它算法不同的是，该准则能够生成一个显式的映射，该映射是线性且容易计算的。3、潜在语义索引特征提取潜在语义索引LSI算法的基础是特征/文本矩阵，将该矩阵进行奇异值分解以得到潜在的语义结构模型。潜在语义索引充分考虑了文本数据特征的稀疏性，以及数据特征间特有的关联性、近似性和多义性。通过奇异值分解获取特征变换矩阵，这在不影响分类准确度的基础上减少了特征提取的时间。在内容文本的语义特征提取中，釆用LSI语义特征提算法的原理，并结合基于黎曼流形映射的非监督判别准则，就有了非监督判别语义特征提取的文

6、本分类算法。4、基于非监督判别语义特征提取的文本分类算法非监督判别语义特征提取的文本分类算法首先在初始文本中进行向量空间预处理，提取特征/文本的局部分布信息，并获取局部密度矩阵及拉普拉斯算子矩阵，然后通过广义特征值分解和奇异值分解构造特征变换矩阵，达到文本数据的降维语义空间聚类。因此，本文提出的算法主要包括五个步骤：构造文本信息向量空间模型、提取文本局部信息、提取文本正交特征和剔除数据冗余、判别语义特征提取和特征压缩以及聚类降维空间。4.1构造文本信息向量空间模型构造向量空间模型，即使用向量来表示文本。在向量空间模型中，把每个

7、文本看成为空间中的一个点向量，那么文本信息便是由n个相互正交的特征组成的向量空间。在向量空间模型的基础上使用特征/文本描述分别将m个文本向量化后构成文本集矩阵Xo4.2提取文本局部信息文本局部信息提取是通过对文本集矩阵X进行基于KNN近邻算法获取点向量的k个邻近点集，并获取邻接点向量间的欧几里得距离，转化为相似度，从而得到文本集矩阵X的相似矩阵S。在S的基础上构造对角矩阵，即局部密度矩阵Do进一步令L=D-S,L即谱图数据的拉普拉斯矩阵。4.3提取文本正交特征、剔除数据冗余利用局部密提取，获取分类判别能力最强的前1个语义特征。

8、4.5聚类降维空间在特征提取后的降维空间采用k-means聚类，进行文本分类。5、结语本文实验在综合考虑准确率和互信息这两项评价指标的情况下，分别使用LSI、NMF和非监督判别语义特征提取算法，对国际通用的典型语料数据Reuters-21578进行文本分类分析，从实验数据不难