吕苏语口语标注语料的自动分词方法研究

《吕苏语口语标注语料的自动分词方法研究》由会员上传分享，免费在线阅读，更多相关内容在应用文档-天天文库。

1、万方数据第34卷第5期2017年5月计算机应用研究ApplicationResearchofComputersV01．34No．5Mav2017吕苏语口语标注语料的自动分词方法研究水于重重1，操镭1，尹蔚彬2，张泽宇1，郑雅1(1．北京工商大学计算机与信息工程学院，北京100048；2．中国社会科学院民族学与人类学研究所，北京100081)摘要：濒危语言典藏以抢救和长久保存濒危语言口语中所包含的声学、语言学以及文学、历史、传统文化等内涵的全部信息为目的，吕苏语作为一种无文字文献记录的濒危语言，对其口语语料典藏意义重大。吕苏语口语的汉语标注语料自动分词是后续建立高质量的吕苏语口语语料库和吕苏语

2、典藏系统的基础性工作。目前对于吕苏语标注语料分词的研究几乎为零，对吕苏语特点进行了分析，同时将中文自动分词结巴方法应用到吕苏语汉语标注语料中；并针对结巴分词算法对吕苏语标注语料分词存在的误分词问题，提出了改进结巴算法。经过实验对比，改进结巴的分词方法准确率更高，提高了吕苏语汉语标注语料的分词效果。关键词：吕苏语；汉语标注语料；自动分词；改进结巴算法中图分类号：TP391．1文献标志码：A文章编号：1001-3695(2017)05-1325—04doi：10．3969／j．issn．1001—3695．2017．05．010AutomaticwordsegmentationonLizuspo

3、kenannotationcorpusYuChongehon91，CaoLeil，YinWeibin2，ZhangZeyul，ZhengYal(1．CollegeofComputer&InformationEngineering，BeringTechnology＆BusinessUniversity，Beijing100048，China；2．InstituteofEthnology＆Anthropology，ChineseAcademyofSocialSciences，Bering100081，China)Abstract：Endangeredlanguagedocumentationai

4、msatrescuingandlongtermpreservingalltheinformationcontainedinthespokenendangeredlanguage，suchasacoustics，linguistics，literature，historyandtraditionalculture．LizulanguageisoneoftheendangeredlanguagewhichhasnotextordocumentreeordandLizuspokencorpusdocumentationisofgreatsignificance．Automaticwordsegme

5、ntationinChineseannotationforLizuspokencorpusisthebasicworkofestablishinghighqualityLizulanguagespokencorpusandLizulanguagedocumentationsystemsubsequentially．AtpresentthereislittleresearchonwordsegmentationforLizulanguageannotationcorpus．ThispaperfirstlyanalyzedthecharacteristicsofLizulanguagechara

6、cteris—tics，andusedChineseautomaticwordsegmentationinLizulanguageChineseannotationcorpora．Besidesitproposedim—provedjiebaalgorithmforfalsewordsegmentationprobleminLizulanguageannotationcorporausingjiebawordsegmentationalgorithm．Bycomparativeexperiments，theimprovedjiebawordsegmentationhashigheraccur

7、acy，whichimprovestheresultofLizuChineseannotationcorpussegmentation．Keywords：Lizulanguage；Chineseannotationcorpus；automaticwordsegmentation；improvedjiebaalgorithm联合国科教文组织把濒危语言解释为：当母语人停止说某种语言，或者是在各个领域说得越来越少，