海量中文智能分词技术白皮书(3.0)

《海量中文智能分词技术白皮书(3.0)》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、天津市海量科技发展有限公司★保密★技术白皮书项目名称：__海量中文智能分词基础件______开发单位：_天津海量信息技术有限公司____海量中文智能分词基础件Version:3.0技术白皮书Date:22/12/2007目录序言2第一章产品概述31.1产品简介31.2产品的适用范围31.3产品结构3第二章产品技术特点32.1分词准确率高42.2分词效率高42.3功能接口丰富，使用灵活方便4第三章产品功能介绍43.1分词功能模块的介绍43.2开发接口43.3功能列表

2、5第四章典型应用74.1KM知识管理系统74.2搜索引擎74.3辞书出版74.4信息服务74.5网站信息发布7第五章产品性能指标8第六章运行环境86.1WINDOWS86.2LINUX86.3UNIX9第七章成功案例97.1商务印书馆97.2慧聪搜索引擎97.3其他案例10Page10of11海量中文智能分词基础件Version:3.0技术白皮书Date:22/12/2007序言1.什么是中文分词?中文分词就是将连续的字序列按照一定的规范切分成词序列的过程。众所周

3、知，在英文的行文中，单词之间是以空格作为自然分界符的，而中文只是字、句和段可以通过明显的分界符来简单划界，唯独词没有一个形式上的分界符，虽然英文也同样存在短语的划分问题，但是在词这一层上，中文比之英文要复杂的多、困难的多。2.中文分词的应用   中文分词主要应用于信息检索、汉字的智能输入、中外文对译、中文校对、自动摘要、自动分类等很多方面。下面就以信息检索为例来说明中文分词的应用。   通过近几年互联网的发展,互联网上的信息也在急剧膨胀，各类信息混杂在一起，要想充分利用这些信息资源就要对它们进行整理，如

4、果面对中文信息不采用分词技术，那么整理的结果就过于粗糙，而导致资源的不可用，例如：“制造业和服务业是两个不同的行业”和“我们出口日本的和服比去年有所增长”中都有“和服”，如果都作为一个词来处理，结果是检索“和服”的相关信息，会将他们都检索到。很显然，检索到第一条信息是不恰当的。通过引入分词技术，可以使机器对信息的整理更准确、更合理，在“制造业和服务业是两个不同的行业”中“和服”不会被当作一个词来处理，那么检索“和服”当然不会将它检索到，使得检索结果更准确，效率也会大幅度的提高。3.中文分词的意义和作用要

5、想说清楚中文分词的意义和作用，就不得不提到智能计算技术。智能计算技术涉及的学科包括物理学、数学、计算机科学、电子机械、通讯、生理学、进化理论和心理学等等。简单的说，智能计算就是让机器“能看会想，能听会讲”。要想实现这样的一个目标，首先就要让机器理解人类的语言，只有机器理解了人类的语言文字，才能使人与机器的交流成为可能。对于自然语言来讲，“词是最小的能够独立活动的有意义的语言成分”，所以对于中文来讲，将词确定下来是理解自然语言的第一步，只有跨越了这一步，中文才能像英文那样过渡到短语划分、概念抽取以及主题分

6、析，以至于自然语言理解，最终达到智能计算的最高境界，实现人类的梦想。中文分词是中文信息处理系统的基础，有着极其广泛的实际应用。从基本的输入系统，到文字处理，以及语音合成，文本检索，文本分类，自然语言接口，自动文摘等等，无处不渗透着分词系统的应用。分词系统的完善与应用，必将促进中文信息处理系统的广泛应用，换言之，也就提高了中文软件对于中文的处理能力，这也将使得计算机用户的日常工作的效率得以提高。Page10of11海量中文智能分词基础件Version:3.0技术白皮书Date:22/12/2007

7、umentidentifier>第一章产品概述1.1产品简介海量中文智能分词基础件是海量在中文智能分词技术基础之上推出的分词准确、高效、接口方便灵活，便于二次开发的软件包，以及为使软件包在目标系统中实现最优品质而提供的特定服务。其服务包括：目标系统架构咨询、辅助开发、技术培训、售后支持等。海量中文分词融合了多种先进、经典的分词方法，采用独特的算法调度机制，形成复方的分词算法。海量分词技术很好的解决了中文分词的两大技术难题，即：歧义切分和新词识别。分词效果因此而获得大幅提升：分词准确率达到99.7％（北大

8、语料封闭测试），同时，通过对分词底层代码的优化分词效率达到每分钟2000万汉字（测试环境为：PC单机CPU：Amd2500+；内存512MDDR），使得分词真正达到实用化的水平。海量中文智能分词基础件在保留海量中文分词技术的优秀性能的前提下，提供了方便灵活的调用接口，以便于在其基础上的二次开发。1.2产品的适用范围作为中文信息处理的核心和汉语自然语言理解的基础，海量中文智能分词基础件有着广泛的应用前景。主要应用领域有：1）信息检索领域如：全