针对特定领域的中文新词发现技术研究

《针对特定领域的中文新词发现技术研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、中图分类号：TP391.1论文编号：102870912-s070学科分类号：120100硕士学位论文针对特定领域的中文新词发现技术研究研究生姓名李明学科、专业管理科学与工程研究方向信息管理与信息系统指导教师刘晋南京航空航天大学研究生院经济与管理学院二О一二年三月NanjingUniversityofAeronauticsandAstronauticsTheGraduateSchoolCollegeofEconomicsandManagementNewwordsdiscoveryresearchforspecificareasAThesisinManagementE

2、ngineeringandSciencebyLiMingAdvisedbyProf.LiuJinSubmittedinPartialFulfillmentoftheRequirementsfortheDegreeofMasterofManagementMarch,2012承诺书本人声明所呈交的硕士学位论文是本人在导师指导下进行的研究工作及取得的研究成果。除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得南京航空航天大学或其他教育机构的学位或证书而使用过的材料。本人授权南京航空航天大学可以将学位论文的全部或部分内容编入有

3、关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。（保密的学位论文在解密后适用本承诺书）作者签名：日期：南京航空航天大学硕士学位论文摘要随着信息技术的发展，各个领域的电子文献变得日益丰富，在各个专业领域，文献数据库中的文献数量呈现出指数增长的趋势，对这些文献信息的处理难度也变得越来越大。中文有着特殊的组织结构，其信息处理对分词技术有着较高的要求，因而中文文献相对于英文文献有着较高的处理难度。如何针对中文的语法特征，找出其中存在的新的专业词汇，在信息检索中扮演着极为重要的角色。本文的研究对象是单一特定的领域，而非多个领域。此领域具有可扩充性，可

4、以为金融领域，也可以为IT领域，根据具体需求而定。在确定一个领域并给出这个领域的文献数据集合的前提下。本文的信息处理主要分为两个步骤进行，首先对特定领域的文献集合进行分词处理，在进行分词处理方面使用了基于统计的N-Gram方法，较为有效地找出了词典中所不存在地新词汇。第二个步骤为新的专业词汇的抽取，这是一个根据已有专业词汇来发现未知专业词汇的过程，目的从第一步中所产生的新的词汇中抽取出新的属于目标领域的专业词汇。在这个步骤中，本文使用了Apriori方法，首先发现词汇组合中的频繁项目集合，再生成相应的关联规则以达到新的专业词汇提取的目的。这个步骤涉及噪声词过滤的问

5、题，考虑到低频噪声词可以在使用关联规则处理的过程中过滤掉，本文所指的噪声词过滤主要是对高频噪声词的过滤，对于这些词汇，本文的解决方式是使用文献分类的方式，将一个大的领域分为多个细分领域，这样，那些同属于多个细分领域的词汇就可以被看做是非专业词汇，也就是噪声词，可以将这些词汇过滤掉。在研究中文分词算法以及专业词汇提取算的基础上，本文设计了一个原型系统来测试算法的有效性，该系统包括文献预处理、中文分词、文档切割、高频噪声词过滤、发现频繁项目集、提取新词等模块，涵盖了本文所研究的各个环节。测试表明，本文的中文分词算法可以有效地发现新的词汇，而专业词汇提取算法也取得了良好

6、的效果。本文的创新之处有：（1）将N-Gram方法和Apriori方法结合在一起，并对两种方法加以改进。利用N-Gram方法结合词典方法进行中文分词，利用Apriori方法抽取出特定领域的专业词汇。两种方法的结合形成了一个完整的文本信息处理的过程，有利于实际应用。（2）设计一个智能化的新词发现系统。将本课题所研究的算法应用于实际中去，使之不仅仅局限于在样本数据中进行新词发现，还能够对新出现的文本随时发现新词。这个功能可以应用于搜索引擎当中，随时捕获搜索结果中所出现的新的专业词汇。本课题所研究的系统只需要更换一个预设专业词典，便可以适用于不同的领域，具有良好的扩展性

7、。关键词：中文分词，N-Gram方法，Apriori方法，新词发现技术I针对特定领域的中文新词发现技术研究AbstarctAlongwithdevelopmentofinformationtechnology,electricdocumentsinallareasbecomemoreandmorerich,it’sdifficulttodealwiththeinformationofthesedocuments.Chinesehasitsownorganizationalstructure,anditsinformationprocessinghasahighde

8、mandf