NLP&CC2013跨语言情感分类评测.ppt

《NLP&CC2013跨语言情感分类评测.ppt》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、NLP&CC2013跨语言情感分类评测万小军北京大学计算机科学技术研究所评测背景情感分类随着网络评论的海量增长受到人们越来越多的重视。情感分类系统通常依赖于标注语料并结合分类算法来实现。然而，情感标注语料的分布在不同语言下是极不均衡的。因此在当前语言的标注语料缺乏时，利用其他语言的资源来实现情感分类已经成为了一个热门的研究课题。2评测任务介绍本任务要求参赛队伍在仅利用组织方提供的资源的前提下，对测试集内的每条中文评论进行倾向性分类（正面和负面）。评测资源包括：英文标注数据少量中文标注数据英文情感词典中文未标注语料3评测数据英文标注数据英文标注数据为Amazon.com的用户评论，共

2、包含3个不同领域：DVD，书籍，音乐。每个领域内有2000条正面评价和2000条负面评价。英文情感词典提供MPQA情感词典(Multi-PerspectiveQuestionAnsweringSubjectivityLexicon)，共包含2789个正向词和6079个负向词。4评测数据中文标注数据(验证数据)提供包含DVD，书籍，音乐三个领域的少量中文标注数据，正负例各20条。中文未标注数据提供包含DVD，书籍，音乐三个领域的大量中文未标注数据，正负例不均衡。5评测数据测试数据来自Amazon.cn的用户评论，DVD，书籍和音乐每个领域均包含4000条测试评论，其中正负向评论均为2

3、000条。6参赛情况本次评测共有7所单位参与，提交10组结果。7评测结果评价指标本任务使用准确率(Accuracy)作为评价指标。其中#system_correct表示分类准确的评论数，system_total表示测试集内全部评论数。由于测试数据中三个领域的评论数目相同，因此不区分宏平均和微平均结果。8评测结果本次评测中有四队伍的准确率达到70%以上，最高结果为77%。（表格中为每单位最好结果）9单位编号DvdAccuracyMusicAccuracyBookAccuracyAverageAccuracy10.48050.50300.49780.493820.64730.6605

4、0.59800.635330.54300.52950.58930.553940.77730.75130.78500.771250.73900.73250.74230.737960.77200.74530.72400.747170.78330.75950.77000.7709论文录用情况本次评测中有以下两篇论文被NLP&CC2013分别录用为Oral和Poster论文GuiLin, Xu Ruifeng, Xu Jun, Yuan Li, Yao YuanlinandZhouJiyun.基于混合模型的跨语言情感分析方法.哈尔滨工业大学深圳研究生院智能计算中心炎祥 何,续乐 刘,强 陈

5、,松涛 孙and菲菲牛.基于句法分析的跨语言情感分析.武汉大学计算机学院10探讨与展望如何有效利用中文未标注数据？如何综合利用英文词典与英文标注语料？跨语言情感分类方法中的领域适应问题？针对不同语言迁移时方法的鲁棒性？11Q&A谢谢！