面向专利文献汉语分词技术研究.ppt

《面向专利文献汉语分词技术研究.ppt》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、面向专利文献的汉语分词技术研究姓名：岳金媛导师：徐金安张玉洁学校：北京交通大学1课题背景及意义2实验原理及方法3实验数据及结果4未来工作计划讲解纲要一、课题背景及意义分词是NLP的重要基础、核心技术中文分词的难点：分词规范、歧义切分、未登录词的识别当前中文分词工具的特点算法不断改进、精度不断提高特定领域内分词精度可达97%以上专利文献的分词精度低下80%以下二、实验原理及方法专利文献的特点专业性强形式规范语言严谨，较少出现歧义大量的术语定语嵌套现象存在数据稀疏现象某些术语内部存在符号标记(2-二甲基环丙醇)二、实验原理及方法二、实验原理及方法ICTCLAS

2、工具粗切分各/r向/p异性/n线/n来自/v于/p逆变换/v,/w该/r逆/n变化/v将/p几何/n基元/n表面/n上/f的/u点/q映射/v至/p纹理/n映射/v中/f的/u点/q./w二、实验原理及方法NC-value算法运用规则提取初步术语术语构词特点(多为名词性短语,最后1-3个字大多是其中心词)词性标注信息上下文信息语料切分标记(标点、提示语、数字等)二、实验原理及方法术语提取的正则式实例名词+名词n+n（形容词

3、动词

4、名词）+名词(a

5、v

6、n)+n名词+（名词

7、动词

8、量词

9、未识别的词）n(n

10、v

11、q

12、x)*说明:+表示出现一次以上，*表示出现零

13、次以上二、实验原理及方法NC-value值计算公式其中，a表示候选的字符串，

14、a

15、表示字符串a的长度，f(a)表示字符串a的词频，Ta表示包含字串a的术语，b表示Ta中任意的包含字串a的术语，P(Ta)表示包含字串a的术语总数，fa(b)表示b在字串a的上下文中出现的次数阈值设为0.0169，即若NC_value值大于阈值，就判定该词为一个专业术语二、实验原理及方法条件随机场(CRF)统计训练提取低频率术语四词位标注集标注符号不同词长的标注形式B(术语的首字);BE(2字术语);M(术语的中间字);BME(3字术语);E(术语的尾字);BM...ME(大于

16、3的术语);O(非术语);O/O...O(非术语)二、实验原理及方法特征模板特征类型特征模板Unigram(一元)Cn,Snn=-2,-1,0,1,2Bigram(二元)CnCn+1,SnSn+1n=-2,-1,0,1说明:C表示当前字，S表示词性特征三、实验数据及结果实验语料训练集：NTCIR-9会议的PatentMT任务提供的10万句生语料的汉语专利数据测试集：103篇专利文献(摘要、说明书、权利要求)在训练语料中抽取8000句作为专业术语提取结果的抽样评价数据三、实验数据及结果评测方法三、实验数据及结果术语提取实验抽样结果术语提取方法准确率P/%正确

17、术语/条识别术语/条Nc_value算法85.2987102CRF算法78.85179227三、实验数据及结果开放测试下实验结果分词方法准确率P/%召回率R/%F-测度值/%ICTCLAS分词系统71.6585.4277.93本实验方法95.5696.1895.87四、未来工作计划语扩充语料规模、减少数据稀疏的影响挖掘新的语言学规律加强利用上下文信息研究英汉平行专利文献的分词技术谢谢！