《文本与文本处理》PPT课件

《《文本与文本处理》PPT课件》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第5章数字媒体及应用5.1文本与文本处理5.2图像与图形5.3数字声音及应用5.4数字视频及应用5.1文本与文本处理5.1.1字符的编码5.1.2文本准备5.1.4文本编辑、排版与处理5.1.3文本的分类5.1.5文本的展现文字处理是计算机应用的基础计算机应用＝使用计算机进行信息处理其中，文字信息处理是涉及面最广的一种计算机应用，几乎与任何领域任何人都有关。文字数值语言音乐图像···信息的形态有多种写作编辑排版印刷发行写作传统的文字处理过程计算机文字处理过程文字信息在计算机中称为“文本”（text），文本是计算机中最常用的一种数字媒体文本由一系列

2、“字符”（character）组成，每个字符均使用二进制编码表示文本在计算机中的处理过程是：（文本编辑器）文本编辑与排版格式化的电子文本（2）文本展现（文本阅读器）（5）文本处理（文本处理软件）（3）文本准备电子文本（1）（文字与图表的输入）文本存储与传输（4）(存档/通信软件)5.1.1.字符在计算机中的表示字符、字符集及其编码表文字的基本元素是字母和符号，统称为“字符”(character)，它包括：字母、数字、标点、符号等字符集：一组特定字符的集合不同的字符集包含的字符数目与内容不同，如：中文字符集、西文字符集、日文字符集等字符的编码：字符

3、集中每个字符的二进位表示，称为该字符的编码或代码(code)不同的字符其编码各不相同字符集中所有字符的编码的一览表，称为该字符集的码表复习：西文字符的编码——ASCII码西文是表音文字(拼音文字)，它由拉丁字母、数字、标点符号以及一些特殊符号所组成美国标准信息交换码(ASCII码)：ASCII字符集包含96个可打印字符和32个控制字符采用7个二进位进行编码计算机中使用1个字节存储1个ASCII字符存在问题：字符集太小（只有128个字符）不同国家和地区使用不同的字符集及其编码，互不兼容东亚地区使用的大字符集无法编码0XXXXXXX汉字如何编码？汉字

4、是记录汉语（国语，华语）的文字，属于表意文字，它用符号直接表达词或词素，有多个国家和地区使用（中、日、韩、新、马······）汉字的特点数量大；字形复杂，同音字多，异体字多如何编码？确定收入多少字、哪些字？在字符集中如何排列？使用多少个二进位进行编码？常用的汉字编码字符集国家标准GB2312-1980汉字扩充规范GBK国家标准GB18030-2005台湾地区的标准汉字字符集CNS11643(BIG5，俗称“大五码”)日本工业标准汉字字符集JISX0208-90韩国国家标准汉字字符集KSC5601-87UCS/Unicode多文种大字符集一级汉字（

5、3755个）二级汉字（3008个）（扩充使用）字母、数字和各种符号………………19423位号…………191655568794区号(按汉语拼音排列)(按偏旁部首排列)GB2312汉字编码字符集1980年颁布《信息交换用汉字编码字符集·基本集》——GB2312-1980GB2312字符集由三个部分构成：拉丁字母、俄文、日文平假名与片假名、希腊字母、汉语拼音等共682个共6763个汉字和682个符号，每个汉字和符号都有一个确定位置GB2312汉字的编码每一个GB2312汉字使用16位(2个字节)表示为了与ASCII字符相区别，每个字节的最高位均为“1”

6、例如：“南”字的代码是1100010011001111（用十六进制表示为C4CF）11第1字节第2字节XXXXXXXXXXXXXXGBK汉字内码扩充规范GB2312的不足：汉字字数太少，缺少繁体字,无法满足人名、地名、古籍整理、古典文献研究等应用的需要；与ASCII码不兼容GBK汉字内码扩充规范（1995）：在GB2312基础上，增加了1万多汉字(包括繁体字)和符号共有21003个汉字和883个图形符号，如“計算機”、冃、冄、円、冇等繁体字和生僻字与GB8312保持向下兼容，也使用双字节表示，第1字节最高位必须为“1”：1X第1字节第2字节XXX

7、XXXXXXXXXXXUCS/Unicode多文种大字符集背景：为了实现全球数以千计的不同语言文字的统一编码方案：ISO将全球所有文字字母和符号集中在一个字符集中进行统一编码(目前共收集了17x216＝1,114,112个)，称为UCS/UnicodeUCS/Unicode的编码方案：先实现部分字符的编码（共107,361个字符）尽量与已有编码标准兼容其中包含有中、日、韩统一整理出来的近3万汉字（称CJK汉字）允许有若干不同的编码方案,例如：单字节：ASCII字符双字节：拉丁、希腊、阿拉伯，···三字节：CJK汉字四字节：其他Unicode:UT

8、F-8单字节可变长编码应用：Linux，Web网页，电子邮件双字节：ASCII字符、拉丁、希腊、阿拉伯，常用CJK汉字，···四字节：非