汉字编码技术

《汉字编码技术》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、第三讲汉字编码技术苏州大学计算机科学与技术学院汉字编码的概念从广义角度看字典/词典编码方法，用于在字典和词典中的快速定位，常见的方法：部首、笔画、拼音和四角号码等从狭义角度看汉字键盘编码，用计算机键盘上的按键为汉字编码汉字编码的发展20世纪70年代起步阶段，拼音编码、五笔字形、自然码等，效率较低20世纪80年代中期轰轰烈烈的“大跃进”式编码活动，但没有什么发展20世纪90年代萧条期进入21世纪后将是又一个发展期，数字编码方案将占主导汉字编码中的几个概念（1）字符集/字汇和词汇字符集/字汇多/少词汇多/少特指某个编码方案编码词组

2、的集合码元组成输入码的字符集合称为码元。如拼音码的码元是“a”－“z”中的任意一个字母；纵横码的码元是“0”－“9”中的任意一个数字。汉字编码中的几个概念（2）码长输入码的长度称为码长。如输入码“123”的码长为3等长编码，如区位码等不等长编码，如拼音码、纵横码等单码和重码一个编码可能对应多个汉字和词组，那么这些汉字或词组称为重码。一个编码对应的汉字和词组只有一个时，称该汉字和词组为单码。汉字编码中的几个概念（3）编码空间和编码效率所有可能的输入码集合，称为编码空间。编码空间的大小依赖于码元集合和码长。如某个编码方案的码元共有

3、K个，编码采用等长码，长度为i，则编码空间大小为：C=Ki，如区位码的编码空间大小为：C=104，即10000个。编码效率简单而言是指编码的字汇/词汇除以编码空间的大小。如区位码，它的字汇大小为6763，则编码效率为6773/10000＝67.73％。汉字的墒(1)——信息量的概念熵，在信息论里叫信息量。从控制论的角度来看，应叫不确定性。最简单的是只有两种可能性，非此即彼，我们以这种事物的信息量为单位，叫1比特（bit）。如果可能性数目有2的n次方（N=2n），那就是n比特，即信息量等于可能性数目N的“以2为底的对数”：H=㏒

4、2N＝㏒N/㏒2。信息量应按符号的可能性（数学上叫概率大小）来计算，它是概率的负对数。平均信息量就是它们的加权平均H=－∑pi㏒pi（1≤i≤n）文字信号的信息量H是信号个数n的以2为底的对数：H=㏒n/㏒2。英文有26个字母，每个字母的信息量H=㏒26/㏒2＝4.700。各种语言的字母的信息量法文3.98比特意大利文4.00比特西班牙文4.01比特英文4.03比特德文4.10比特罗马尼亚文4.12比特俄文4.35比特中文9.65比特汉字的墒(2)——汉字墒的概率分布假设给定一个汉字字符集HZ，其中汉字数为n，则该字符集的熵为

5、H=－∑Pi㏒Pi（1≤i≤n）其中，Pi为单个汉字在汉语文本中出现的概率，－㏒(Pi)是第i个汉字出现时的信息量，－∑㏒(Pi)是所有汉字在不考虑前后相关性时所给出的全部信息量。H是该集合中的每个汉字的平均信息量。汉字的墒(3)——汉字墒的意义平均信息量（信息熵）表示存储或表示该汉字字符集所需要的二进制位数（中文约为9.65bit）。根据每个汉字的平均熵，通过采用不等长编码可以提高汉字存储和传输效率。信息量（信息熵）与字的使用频度成反比。即频度下降一半，其信息量增加1位。对汉字编码而言，采用多于2个码元时，汉字的平均熵也会下

6、降。如：当m=2时，Lmin（3，4）当m=47时Lmin(1.73,2.73)不同领域，字的使用频度不同，因此，对大系统内的汉字信息熵的意义不大。汉字键盘编码的依据——心理依据从心理学角度来看，根据汉字音信息的汉字编码，人在大脑中无需进行任何的思考，就可以输入汉字，所以说是最为直接的输入方式。根据汉字形信息的汉字编码，用户在输入时，大脑需要把语言转换为字形，然后才能输入，所以说是一种间接的输入方式。汉字心理学和模糊心理学的研究表明，人认字时上半部优于下半部，外围优于中间。从排列心理学角度来看，希望汉字的编码能尽量唯一，并

7、能尽量表达汉字的本身特征。汉字键盘编码的依据——汉语拼音汉语拼音的语言形式有三个要素：声母、韵母和声调。三者构成一个音节。其中声母有21个，韵母有35个。声调有五种：阴平、阳平、上声、去声和轻声。声韵结合起来有417个基本音节，如果考虑声调，总共有1330个左右的音节。所有的计算机用汉字的发音都在这些音节范围内。这就是汉字同音字/词多的根本所在。如在GBK中，拼音“yi”有个460多个对应的汉字。同样也存在大量的同音词。这就造成重码多和输入不方便。这是以音作为编码要素存在的主要问题。汉字键盘编码的依据——汉字部件汉字的字形分为

8、三级：笔画、汉字部件（如偏旁部首）和整字。由笔画构成汉字部件，由汉字部件构成整字。绝大多数根据汉字字形的编码方案基本上是基于部件的编码，如“五笔”、“表形码”等。基于部件的汉字编码需要解决的问题是：汉字如何拆分？用汉字部件编码的最大问题是部件的规范问题。汉字键盘编码的依据——