使用最大熵模型进行中文文本分类

《使用最大熵模型进行中文文本分类》由会员上传分享，免费在线阅读，更多相关内容在应用文档-天天文库。

1、计算机研究与发展!""#$%%%&$’()／*#$$&$+++／,-./01234/5*/670891:9;931<=32>?9@94/76928A’（$）：)A!$%$，’%%B!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!使用最大熵模型进行中文文本分类李荣陆王建会陈晓云陶晓鹏胡运发（复旦大学计算机与信息技术系上海’%%A((）（4E1/2F40"$D(G298）!"#$%&’(#)*)+$,-./0&.1234.-56#$2"272(,5’,2%.-#8’,

2、#.$HE:/2F40，I32F.E32=0E，*=92JE3/K02，,3/JE3/792F，32>L0M0253（!"#$%&’"(&)*+)’#,&-(.$(/0(*)%’$&-)(1"23()4).5，6,/$(7(-8"%9-&5，:3$(.3$-’%%A((）9:",-’;,IE8=8=9137E>>9@94/76928/5I/14>IE>9I9N，89O8<43;;E5E<38E/2=3;N971/<9;;E2F431F936/028/5>/<06928>383GR

3、3OE6069281/7K6/>94E;371/N3NE4E8K9;8E638E/289<=2ES09TE>94K0;9>5/13@31E98K/52380134432F03F983;P;G!8/5591;3<493232>3<3N49513698/E@91;97E9<9;/5

4、&8=9&31849@94，/1/087915/16/8=91;T=92813E29>32>89;89>02>91;E6E431E8E/2;GL/T9@91，19438E@94K4E8849T/1P=3;N992>/29/23774KE2F63OE6069281/7K6/>948/89O8<389F/1EQ38E/271/N496;G!23>>E8E/2，2/719@E/0;T/1P=3;5/<0;9>/20;E2F63OE6069281/7K6/>94E2<43;;E5KE2F*=E29

5、;9>/<06928;GR3OE6069281/7K6/>94E;0;9>5/189O8<389F/1EQ38E/2G!8;<389F/1EQ38E/27915/1632<9E;32>3234KQ9>0;E2F>E55919283771/3<=9;5/189O85938019F929138E/2，>E5591928206N91/5593801932>;6//8=E2F89<=2ES09GR/19/@91，E29O791E6928;E8E;8/U3K9;，V##32>"WR，32>E8E;;=/T28=38E8;791

6、5/1632<9E;=EF=918=32U3K9;32>"WRG!8E;371/6E;E2F89<=2ES095/189O8<389F/1EQ38E/2G<20=.-1"89O8<43;;E5E<38E/2；63OE6069281/7K6/>94；5938019;；;&X136摘要随着III的迅猛发展，文本分类成为处理和组织大量文档数据的关键技术G由于最大熵模型可以综合观察到各种相关或不相关的概率知识，对许多问题的处理都可以达到较好的结果G但是，将最大熵模型应用在文本分类中的研究却非常少，而使用最大熵模型进行

7、中文文本分类的研究尚未见到G使用最大熵模型进行了中文文本分类G通过实验比较和分析了不同的中文文本特征生成方法、不同的特征数目，以及在使用平滑技术的情况下，基于最大熵模型的分类器的分类性能G并且将其和U3K9;，<##，"WR三种典型的文本分类器进行了比较，结果显示它的分类性能胜于U3K9;方法，与<##和"WR方法相当，表明这是一种非常有前途的文本分类方法G关键词文本分类；最大熵模型；特征；;&X136中图法分类号,-()$；,-$Y键技术G所以，研究利用计算机进行自动文档分类>引言成为自然语言处理和人工智能领域中一项具有重要应用价值的课题G现有的

8、分类方法主要是基于统计随着III的迅猛发展，在线文档信息的迅速理论和机器学习方法的，比较著名的文档分类方法增加，文档分类成