基于语义扩展的数字文献自动分类方法研究[权威资料]

《基于语义扩展的数字文献自动分类方法研究[权威资料]》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、基于语义扩展的数字文献自动分类方法研究　　〔摘要〕针对图书、期刊论文等数字文献文本特征较少而导致特征向量语义表达不够准确、分类效果差的问题，本文提出一种基于特征语义扩展的数字文献分类方法。该方法首先利用TF-IDF方法获取对数字文献文本表示能力较强、具有较高TF-IDF值的核心特征词；其次分别借助知网（Hownet）语义词典以及开放知识库维基百科（Wikipedia）对核心特征词集进行语义概念的扩展，以构建维度较低、语义丰富的概念向量空间；最后采用MaxEnt、SVM等多种算法构造分类器实现对数字文献的自动分类。实验结果表明：相比传统基于特征选择的短文本分类方法，该方法能有效地实现对短

2、文本特征的语义扩展，提高数字文献分类的分类性能。　　〔关键词〕数字文献；短文本分类；特征选择；语义扩展；分类性能　　DOI：10.3969/j.issn.1008-0821.2015.09.013　　〔〕G2507〔〕A〔〕1008-0821（2015）09-0070-05　　〔Abstract〕Aimingattheproblemsofinaccurateconceptexpressionoftextvectorandpoorclassificationeffectwhichiscausedbysparsefeaturekeywordsindigitaldocumentsofbook

3、sandjournalarticlesetc，thepaperproposedaclassificationmethodbasedonthefeaturesofsemanticextension.Firstly，thismethodadoptedTF-IDFmethodtofilterkeywordsthathavehigherabilityofdigitaltextrepresentationandTF-IDFvaluethanothercommonfeatures.Secondly，tobuildthelowdimensionalityandsemanticconceptualve

4、ctorspace，itextendedsemanticconceptofcorefeaturescollectionsbasedontheHownetsemanticdictionaryandknowledgebaseofWikipedia.Finally，itrealizeddigitaldocumentautomaticclassificationbyapplyingMaxEntandSVMalgorithms.Theresultshowedthattheproposedmethodcanmoreeffectivelyexpendshorttextonsemanticsandim

5、provetheclassificationperformanceofdigitaldocumentcomparedwithtraditionalshorttextclassificationmethodbasedoncharacteristicselection.　　〔Keywords〕digitaldocument；shorttextclassification；featuresselection；semanticextension；classificationperformance　　数字图书馆的主要业务数据是馆藏的各种类型的文献资源，即使在大数据环境下，其核心业务仍然是针对这些

6、种类众多的文献进行组织和安排，使各种类型的文献能够在数字图书馆中统一实现分类与检索。然而，针对数字文献的分类标引工作长期以来都是由编目人员手工去完成，既费时又费力。且由于信息的模糊性以及数字文献种类、数量的剧增，仅靠提高编目人员的业务素质来保证文献分类标引的准确性是不现实的，有必要将信息自动化技术引入图书编目、数字文献元数据的分类或主题标引之中。利用机器学习实现数字文献的自动分类已成为数字图书馆建设中亟待解决的关键问题之一[1]。　　自动分类技术是指在给定的分类体系情况下，根据文本内容自动判定到相应预定义类别的过程[2]。目前主要采用向量空间模型进行文本信息结构化的表示，然而基于该模型

7、下由于数字文献文本特征缺失会导致向量空间的高维和稀疏，且包含大量无效、冗余的特征，从而降低数字文献分类的精度。另外，基于该词频向量的表示方法忽略了文本中特征词的含义以及词项间潜在语义关系，如同义词、冗余和蕴涵等信息。面对短文本数据集特征缺失带来的问题，相关学者提出借助外部词典/知识库进行特征扩展的方法，以弥补短文本特征不足的缺陷，提高最终的分类性能。如Phan[3]等人通过外部网络数据源扩展短文本的词条信息来解决词特征的稀疏性问题；Ferrag