欢迎来到天天文库
浏览记录
ID:28370313
大小:3.43 MB
页数:20页
时间:2018-12-09
《信息技术环境下的学习活动设计研究》由会员上传分享,免费在线阅读,更多相关内容在教育资源-天天文库。
1、华中师范大学国家语言资源监测与研究中心网络媒体语言分中心涂新辉基于排序学习的文本概念标注方法研究人类理解自然语言的过程是一个语义概念的联想和关联的过程,这种功能是由人类大脑中几百亿个神经元构成的复杂神经网络所提供的。大脑的语言能力传苹果将于2012年乔布斯生日当天发布iPad3新闻标题大脑概念层苹果公司乔布斯iPad苹果苹果遭遇对手!高分辨率屏幕手机盘点德国法院驳回苹果对三星的诉讼平安夜吃苹果圣诞节中国化手机水果市场箱装苹果缩水纸箱被灌水泥重6斤水果三星公司和人脑的基于概念的语义表征方法不同的是:“词袋”模型可以捕获文档的词语的细节,但是难以
2、表征文档的主题信息。传统文本表征模型的困境传苹果将于2012年乔布斯生日当天发布iPad3新闻标题苹果遭遇对手!高分辨率屏幕手机盘点德国法院驳回苹果对三星的诉讼平安夜吃苹果圣诞节中国化水果市场箱装苹果缩水纸箱被灌水泥重6斤“词袋”模型苹果乔布斯iPad手机水果三星……概念是描述文本主题的非常重要的信息基于概念的文本表征可以捕获文本的主题信息研究动机传苹果9月发布iPhone5年底推出全新iPad据报道,苹果将在今年9月正式发布新一代iPhone,目前该机的量产工作即将开始。苹果产业链内部人士还爆料称,苹果将在下代iPhone发布前即今年8月,
3、推出传闻多时的7.85寸mini版iPad,与此同时,今年年底时,他们还将发布新一代iPad。……在大多数文档集中并没有可以直接利用的标注好的概念本文中提出了一种利用排序学习模型自动生成概念标注的方法基于维基百科概念的方法概念库的构建要建立能够表征文本中所蕴含中各种复杂主题所使用概念集合应该满足以下条件:包含覆盖不同领域主题的海量概念新的概念能够及时加入到这个概念库中这些概念应该是人可以理解的要建立和维护这样应该自然概念的集合是一个异常艰巨的任务。幸运的是,维基百科-这个世界上最大的百科知识库-已经满足了上面的几个要求。概念库?维基百科概念库
4、的统计信息和结构相关背景—已有的概念标注方法基于关键词匹配(DavidMilne,2008等)基于内容相关性匹配(显示语义分析,Gabrilovich,2007)提出新标注方法的研究动机显示语义分析模型只考虑概念和文本的相关性,没有考虑概念本身的其它特征可能有多种特征会影响我们使用概念来表示文本,希望利用有导学习的方法让机器学习人类在使用概念来表示文本时考虑的各种因素相关背景—排序学习基本思想当文档中的特征越来越多时,通过人工设定特征的权重信息来构建模型对文档排序的方法就难以为继了。排序学习(Learningtorank)的方法试图利用有导学
5、习的方法自动建立对象的排序模型。RankingSVM方法输入是针对一组查询的偏序排序信息的一组训练集合:给定概念的训练数据和相关性排序信息,我们希望找到一个权重向量尽可能多地满足以下条件:实际上,没有有效的方法找到完全满足条件的权重向量。但是,可以把这个问题转换为一个标准的SVM优化问题:特征列表训练集生成系统12位用户使用一个专门开发的文档段落标注系统为600个段落进行了人工标注训练样本示例标注完成后共得到3387个概念,平均每个段落5.6个概念。在实验中我们同时选取了未被选择的3500个概念作为反例。自动生成的概念标注示例和传统方法的比较
6、不同概念数的比较总结维基百科-这个世界上最大的百科知识库维基百科涵盖了大部分日常使用的概念,是建立通用概念库的绝佳资源。实验表明,本章中利用RankingSVM排序学习算法得到的概念排序模型,比传统的文档概念映射方法在各类指标上都有相当大的提高,这个标注系统比传统的方法得到的概念标注更加接近人类的概念标注研究中文文本的概念标注把本文中的方法应用到各类自然语言处理任务中未来工作展望谢谢!请各位专家指正!
此文档下载收益归作者所有