基于语料库的工作new

《基于语料库的工作new》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、基于语料库的工作张宇大纲什么是语料库语料库的发展简史语料库建设中处理的问题数据标注8/31/20212中文信息处理--基于语料库的工作什么是语料库语料库，英文为Corpus存储语言材料的仓库现代的语料库是指存放在计算机里的原始语料文本或经过加工后带有语言学信息标注的语料文本.8/31/20213中文信息处理--基于语料库的工作关于语料库的三点基本认识语料库中存放的是在语言的实际使用中真实出现过的语言材料；语料库是以电子计算机为载体承载语言知识的基础资源；真实语料需要经过加工（分析和处理），才能成为有用的资源；8/31/20214中文信息处理--基于

2、语料库的工作语料库示例北京大学计算语言所富士通人民日报标注语料库样例：历史/n将/d铭记/v这个/r坐标/n：/w北纬/b４１．１/m度/q、/w东经/b１１４．３/m度/q；/w人们/n将/d铭记/v这/r一/m时刻/n：/w１９９８年/t１月/t１０日/t１１时/t５０分/t。/w……[中国/ns政府/n]nt顺利/ad恢复/v对/p香港/ns行使/v主权/n，/w并/c按照/p“/w一国两制/j”/w、/w“/w港人治港/l”/w、/w高度/d自治/v的/u方针/n保持/v香港/ns的/u繁荣/an稳定/an。/w8/31/20215中文信息

3、处理--基于语料库的工作语料库的分类生语料库/熟语料库生语料库就是未经加工的,没有任何切分,标注标记的原始语料库熟语料库就是指经过加工,带有切分,标注标记的语料库系统型语料库/专用型语料库系统型语料库就是依据事先确定的选材原则和比例选取语料的语料库专用型语料库就是指专门服务于某个特定目的的语料库单语种语料库/多语种语料库8/31/20216中文信息处理--基于语料库的工作语料库发展简史第一代（1970－80年代）第二代（1980－90年代）第三代（1990年代－）8/31/20217中文信息处理--基于语料库的工作第一代语料库Brown语料库LOB

4、语料库LLC语料库百万词级以语言研究为导向8/31/20218中文信息处理--基于语料库的工作第二代语料库COBUILD语料库Longman语料库千万词级词典编纂－应用导向8/31/20219中文信息处理--基于语料库的工作第三代语料库ACL/DCI语料库TheAssociationforComputationalLinguisticsDataCollectionInitiativeUPenn树库LDC（LinguisticDataConsortium）超大规模（上亿词级）标准编码体系深度标注/多语种NLP应用8/31/202110中文信息处理--

5、基于语料库的工作语料库建设中处理的问题文本生文本标注文本语料库建设中处理的问题低级格式问题标记化：什么是一个词？词法句子8/31/202111中文信息处理--基于语料库的工作低级格式问题垃圾格式由于语料库的来源复杂，语料库中可能存在无法处理的各种各样的格式或内容，他们是没有用处的，需要过滤掉。文档页眉、分隔符、排版代码、表和图表如果数据来源于OCR，会引入错误识别的问题8/31/202112中文信息处理--基于语料库的工作低级格式问题大小写the，The，THERichardBrownbrownpaint识别句子中人名的启发式方法把每个句子开头的大

6、写字母转换成小写字母把一串连续大写的词当作标题和副标题这样，其余的大写字母就可以认为是名字8/31/202113中文信息处理--基于语料库的工作标记化：什么是一个词什么是词前后有空格的连续字母组成的字符串，可以包含连字符和省略号，但是不能包含其它的标点符号。KuceraandFrancis（1967）$22.50，Micro$oft，C

7、net8/31/202114中文信息处理--基于语料库的工作标记化：什么是一个词句点大多数句点的作用是表明句子结束，其它情况表示缩写，例如：etc.，Calif.。保留句点的意义Wash.（Washington）-

8、-Washetc.出现在句子的末尾的时候，只保留一个句点，这个句点同时表示两种意思。8/31/202115中文信息处理--基于语料库的工作标记化：什么是一个词单撇号I’m，isn’t……Iam，isnotdog’s表示什么？dogis，doghas，还是所有格形式？词末尾的单撇号如何处理？通常代表一对引号的结束，不是该词的一部分如果它跟着一个s出现boys’toys8/31/202116中文信息处理--基于语料库的工作标记化：什么是一个词连字符：不同形式表示相同形式的词带有连字符的一串字母应该看成一个词还是两个？（有时候是一个，有时候是两个）一个，

9、来源于排版印刷找到一行中最后的连字符，丢弃它，把本行的词和下一行的连起来e-mail,co-operate连字符用于表示引