中文信息处理与汉语研究

《中文信息处理与汉语研究》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、中文信息处理与汉语研究——现状和发展詹卫东北京大学中文系北京大学汉语语言学研究中心北京，100871zwd@pku.edu.cnhttp://ccl.pku.edu.cn/doubtfire/全国语言文字信息化工作会议·湖南·长沙·2003.10.5-10.61提纲中文信息处理研究的格局中文信息处理的现状和发展趋势语言知识资源的建设面向中文信息处理的汉语研究2一中文信息处理研究的格局信息的两个层次：符号层——中文/汉语/汉字内容层——符号所承载的意义中文信息处理的两个层次：字符处理（输入、存

2、储、输出等）内容处理（词语切分，词性标注，结构分析，意义理解，推理，翻译……等等）（信号vs.信息）3符号层的信息处理拼音文字：小字符集——比较容易非拼音文字：大字符集——难度很大汉字是一个大字符集《说文解字》（东汉）：9353字《玉篇》（南朝）收录16,917字《广韵》（宋代）收字26,194字《字汇》（明朝）收录33,197字《康熙字典》（清朝）收录47,043字《汉语大字典》（1992年）5.6万《中华字海》（1994年）8.6万拉丁字母只有26个符号斯拉夫字母只有33个符号阿尔明尼亚字母只有

3、38个符号泰米尔字母只有36个符号缅甸字母只有52个符号泰文字母只有44个符号老挝字母只有27个符号藏文字母只有35个符号韩文字母只有24个符号日文假名只有48个符号4符号层的信息处理汉字输入自动输入键盘输入字形识别声音识别手写体识别印刷体识别在线手写脱机手写整字键盘通用键盘主辅式感应式形码音码形音结合码1234567895内容层的信息处理形态丰富的语言（inflectinglanguage）：处理难形态不丰富的语言（analyticlanguage）：处理更难汉语英语老师都来了Allprofesso

4、rscamehere.张老师都来了EvenProfessorZhangcamehere.编辑工作很难Editingisverydifficult.如何当好编辑Howtobecomeagoodeditor6内容层的信息处理原文原文输入译前编辑词法分析句法分析语义分析语境分析内部表示转换译词选择译后编辑译文输出词形变化句子生成译文123456789101112机器翻译全过程需要语言知识！！！7内容层处理对符号层处理的反作用拼音串（无声调）xuexidiannaojishu候选字串雪系点脑机树共有14×9

5、8×41×15×167×68＝95.8亿种可能性学洗电闹给述学西颠挠记书……候选词串学习电脑级数共有2×1×7＝14种可能性血洗电脑奇数血洗电脑基数……正确文字串学习电脑技术8内容层处理对符号层处理的反作用拼音串（无声调）xuexidiannaojishu候选字串雪系点脑机树共有14×98×41×15×167×68＝95.8亿种可能性学洗电闹给述学西颠挠记书……候选词串学习电脑级数共有2×1×7＝14种可能性血洗电脑奇数血洗电脑基数……正确文字串学习电脑技术9内容层处理对符号层处理的反作用拼音串（无声

6、调）xuexidiannaojishu候选字串雪系点脑机树共有14×98×41×15×167×68＝95.8亿种可能性学洗电闹给述学西颠挠记书……候选词串学习电脑级数共有2×1×7＝14种可能性血洗电脑奇数血洗电脑基数……正确文字串学习电脑技术10内容层处理对符号层处理的反作用拼音串（无声调）xuexidiannaojishu候选字串雪系点脑机树共有14×98×41×15×167×68＝95.8亿种可能性学洗电闹给述学西颠挠记书……候选词串学习电脑级数共有2×1×7＝14种可能性血洗电脑奇数血洗电脑基

7、数……正确文字串学习电脑技术11二中文信息处理的现状和发展趋势现状符号层的处理成果已经得到广泛应用；中文输入/字库/字处理软件/排版/……内容层的处理目前在词语识别和词性标注方面已经取得重要进展，句子结构分析和语义分析方面仍有待探索12系统演示北京大学现代汉语分词/词性标注/句法分析系统（孙斌、刘群、常宝宝、詹卫东等）http://www.icl.pku.edu.cn/nlp-tools/segtagtest.htm（北大计算语言所网上分词、标注、注音系统）13中文信息处理的发展趋势发展趋势

8、信息产品的多样化网络的迅速发展积累更多基础资源，开发更多应用系统。内容层的处理将受到越来越多的重视信息家电，内容计算，……14三语言知识资源的建设现代汉语语法信息词典基于配价理论的现代汉语语义词典现代汉语短语结构信息库2700万字现代汉语分词与词性标注语料库句子对齐的汉英双语语料库现代汉语树库现代汉语短语结构规则库15资源演示现代汉语语义词典（詹卫东、王惠等）http://ccl.pku.edu.cn汉英平行语料库（常宝宝、柏晓静等）现代汉语