字符、字节和编码

《字符、字节和编码》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、字符、字节和编码“字符与编码”是一个被经常讨论的话题。即使这样，时常出现的乱码仍然困扰着大家。虽然我们有很多的办法可以用来消除乱码，但我们并不一定理解这些办法的内在原理。而有的乱码产生的原因，实际上由于底层代码本身有问题所导致的。因此，不仅是初学者会对字符编码感到模糊，有的底层开发人员同样对字符编码缺乏准确的理解。1.编码问题的由来，相关概念的理解1.1字符与编码的发展从计算机对多国语言的支持角度看，大致可以分为三个阶段：　系统内码说明系统阶段一ASCII计算机刚开始只支持英语，其它语言不能够在计算机上存储和显示。英文DOS阶段二ANSI编码（本地化）为使计算机支持更多语言，通常使用0x80

2、~0xFF范围的2个字节来表示1个字符。比如：汉字'中'在中文操作系统中，使用[0xD6,0xD0]这两个字节存储。不同的国家和地区制定了不同的标准，由此产生了GB2312,BIG5,JIS等各自的编码标准。这些使用2个字节来代表一个字符的各种汉字延伸编码方式，称为 ANSI编码。在简体中文系统下，ANSI编码代表GB2312编码，在日文操作系统下，ANSI编码代表JIS编码。不同ANSI编码之间互不兼容，当信息在国际间交流时，无法将属于两种语言的文字，存储在同一段 ANSI编码的文本中。中文DOS，中文Windows95/98，日文Windows95/98阶段三UNICODE（国际化）为了

3、使国际间信息交流更加方便，国际组织制定了 UNICODE字符集，为各种语言中的每一个字符设定了统一并且唯一的数字编号，以满足跨语言、跨平台进行文本转换、处理的要求。WindowsNT/2000/XP，Linux，Java字符串在内存中的存放方法：在ASCII阶段，单字节字符串使用一个字节存放一个字符（SBCS）。比如，"Bob123"在内存中为：426F6231323300Bob123在使用ANSI编码支持多种语言阶段，每个字符使用一个字节或多个字节来表示（MBCS），因此，这种方式存放的字符也被称作多字节字符。比如，"中文123"在中文Windows95内存中为7个字节，每个汉字占2个

4、字节，每个英文和数字字符占1个字节：D6D0CEC431323300中文123在UNICODE被采用之后，计算机存放字符串时，改为存放每个字符在UNICODE字符集中的序号。目前计算机一般使用2个字节（16位）来存放一个序号（DBCS），因此，这种方式存放的字符也被称作宽字节字符。比如，字符串"中文123"在Windows2000下，内存中实际存放的是5个序号：2D4E87653100320033000000    ←在x86CPU中，低字节在前中文123　一共占10个字节。1.2字符，字节，字符串理解编码的关键，是要把字符的概念和字节的概念理解准确。这两个概念容易混淆，我们在此做一

5、下区分：　概念描述举例字符人们使用的记号，抽象意义上的一个符号。'1','中','a','$','￥',……字节计算机中存储数据的单元，一个8位的二进制数，是一个很具体的存储空间。0x01,0x45,0xFA,……ANSI字符串在内存中，如果“字符”是以 ANSI编码形式存在的，一个字符可能使用一个字节或多个字节来表示，那么我们称这种字符串为 ANSI字符串或者多字节字符串。"中文123"（占7字节）UNICODE字符串在内存中，如果“字符”是以在UNICODE中的序号存在的，那么我们称这种字符串为 UNICODE字符串或者宽字节字符串。L"中文123"（占10字节）由于不同ANSI编码所规

6、定的标准是不相同的，因此，对于一个给定的多字节字符串，我们必须知道它采用的是哪一种编码规则，才能够知道它包含了哪些“字符”。而对于 UNICODE字符串来说，不管在什么环境下，它所代表的“字符”内容总是不变的。1.3字符集与编码各个国家和地区所制定的不同ANSI编码标准中，都只规定了各自语言所需的“字符”。比如：汉字标准（GB2312）中没有规定韩国语字符怎样存储。这些ANSI编码标准所规定的内容包含两层含义：1.使用哪些字符。也就是说哪些汉字，字母和符号会被收入标准中。所包含“字符”的集合就叫做“字符集”。2.规定每个“字符”分别用一个字节还是多个字节存储，用哪些字节来存储，这个规定就叫做

7、“编码”。各个国家和地区在制定编码标准的时候，“字符的集合”和“编码”一般都是同时制定的。因此，平常我们所说的“字符集”，比如：GB2312,GBK,JIS等，除了有“字符的集合”这层含义外，同时也包含了“编码”的含义。“UNICODE字符集”包含了各种语言中使用到的所有“字符”。用来给UNICODE字符集编码的标准有很多种，比如：UTF-8,UTF-7,UTF-16,UnicodeLittle,Unicod