常用字符集介绍和编码转换原理

《常用字符集介绍和编码转换原理》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、常用字符集介绍和编码转换原理目录1.GB2312编码介绍11.1基本信息11.2GB标准11.3分区表示11.4字节结构12.通用字符集UCS22.1定义22.2概要22.3实现级别22.4与UNICODE的兼容关系23.unicode编码介绍33.1基本简介33.2编码实现33.2.1编码方式33.2.2实现方式44.UTF-8介绍44.1基本介绍44.2编码原理44.转换原理61.GB2312编码介绍1.1基本信息《信息交换用汉字编码字符集》是由我国国家标准总局1980年发布，1981年5月1日开始实施的一套国家汉字编码字符集标准，

2、标准号是GB2312—1980。它是计算机可以识别的编码，适用于汉字处理、汉字通信等系统之间的信息交换。基本集共收入汉字6763个和非汉字图形字符682个。整个字符集分成94个区，每区有94个位。每个区位上只有一个字符，因此可用所在的区和位来对汉字进行编码，称为区位码。这个码是唯一的，不会有重码字。把换算成十六进制的区位码加上2020H，就得到国标码。国标码加上8080H，就得到常用的计算机机内码。1995年又颁布了《汉字编码扩展规范》（GBK）。GBK与GB2312—1980国家标准所对应的内码标准兼容，同时在字汇一级支持ISO/IE

3、C10646—1和GB13000—1的全部中、日、韩（CJK）汉字，共计20902字。信息交换用汉字编码字符集和汉字输入编码之间的关系是，根据不同的汉字输入方法，通过必要的设备向计算机输入汉字的编码，计算机接收之后，先转换成信息交换用汉字编码字符，这时计算机就可以识别并进行处理；汉字输出是先把机内码转成汉字编码，再发送到输出设备。1.2GB标准GB2312或GB2312-80是一个简体中文字符集的中国国家标准，全称为《信息交换用汉字编码字符集·基本集》，又称为GB0，由中国国家标准总局发布，1981年5月1日实施。GB2312编码通行于

4、中国大陆；新加坡等地也采用此编码。中国大陆几乎所有的中文系统和国际化的软件都支持GB2312。GB2312标准共收录6763个汉字，其中一级汉字3755个，二级汉字3008个；同时，GB2312收录了包括拉丁字母、希腊字母、日文平假名及片假名字母、俄语西里尔字母在内的682个全角字符。GB2312的出现，基本满足了汉字的计算机处理需要，它所收录的汉字已经覆盖中国大陆99.75%的使用频率。对于人名、古汉语等方面出现的罕用字，GB2312不能处理，这导致了后来GBK及GB18030汉字字符集的出现。1.3分区表示GB2312中对所收汉字进

5、行了“分区”处理，每区含有94个汉字/符号。这种表示方式也称为区位码。01-09区为特殊符号。16-55区为一级汉字，按拼音排序。56-87区为二级汉字，按部首/笔画排序。10-15区及88-94区则未有编码。举例来说，“啊”字是GB2312之中的第一个汉字，它的区位码就是1601。1.4字节结构在使用GB2312的程序中，通常采用EUC储存方法，以便兼容于ASCII。浏览器编码表上的“GB2312”，通常都是指“EUC-CN”表示法。每个汉字及符号以两个字节来表示。第一个字节称为“高位字节”（也称“区字节）”，第二个字节称为“低位字节

6、”（也称“位字节”）。“高位字节”使用了0xA1-0xF7(把01-87区的区号加上0xA0)，“低位字节”使用了0xA1-0xFE(把01-94加上0xA0)。由于一级汉字从16区起始，汉字区的“高位字节”的范围是0xB0-0xF7，“低位字节”的范围是0xA1-0xFE，占用的码位是72*94=6768。其中有5个空位是D7FA-D7FE。例如“啊”字在大多数程序中，会以两个字节，0xB0（第一个字节）0xA1（第二个字节）储存。区位码=区字节+位字节（与区位码对比：0xB0=0xA0+16,0xA1=0xA0+1）。2.通用字符集

7、UCS2.1定义通用字符集（UniversalCharacterSet，UCS）是由ISO制定的ISO10646（或称ISO/IEC10646）标准所定义的字符编码方式，采用4字节编码。又称UniversalMultiple-OctetCodedCharacterSet，大陆译为通用多八位编码字符集，台湾译为广用多八位元编码字元集。2.2概要通用字符集是所有包括了其他字符集。它保证了与其他字符集的双向兼容，即，如果你将任何文本字符串翻译到UCS格式，然后再翻译回原编码，你不会丢失任何信息。UCS包含了已知语言的所有字符。除了拉丁语、希腊

8、语、斯拉夫语、希伯来语、阿拉伯语、亚美尼亚语、乔治亚语，还包括中文、日文、韩文这样的象形文字，UCS还包括大量的图形、印刷、数学、科学符号。ISO10646定义了一个31位的字符集。ISO10646-1标准