海量分词技术白皮书2 2

《海量分词技术白皮书2 2》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、海量中文智能分词技术白皮书2011年1月海量中文智能分词技术白皮书海量信息技术有限公司2011年1月第18页－共18页海量中文智能分词技术白皮书2011年1月目录序言4第一章产品概述61.1海量中文智能分词基础件简介61.2海量中文智能分词基础件应用前景6第二章产品技术特点72.1海量中文智能分词基础件的特点72.2算法特点82.3基础件特点8第三章产品功能介绍103.1词形切分103.2词性标注（高级版）103.3关键词标注（高级版）103.4支持的字符集标准103.5语意指纹提取（高级版）103.

2、6分词颗粒度控制11第四章运行环境124.1WINDOWS124.2LINUX124.3UNIX13第五章海量中文智能分词的典型应用145.1KM知识管理系统145.2搜索引擎145.3辞书出版145.4信息服务145.5网站信息发布15第六章合作伙伴成功案例16第18页－共18页海量中文智能分词技术白皮书2011年1月6.1商务印书馆166.2腾讯SOSO搜索引擎166.3其他案例17附录A数据辞典18附录B市场部联系方式18第18页－共18页海量中文智能分词技术白皮书2011年1月序言1.什么是中

3、文分词?中文分词就是将连续的字序列按照一定的规范切分成词序列的过程。众所周知，在英文的行文中，单词之间是以空格作为自然分界符的，而中文只是字、句和段可以通过明显的分界符来简单划界，唯独词没有一个形式上的分界符，虽然英文也同样存在短语的划分问题，但是在词这一层上，中文比之英文要复杂的多、困难的多。2.中文分词的应用中文分词主要应用于信息检索、汉字的智能输入、中外文对译、中文校对、自动摘要、自动分类等很多方面。下面就以信息检索为例来说明中文分词的应用。通过近几年互联网的发展,互联网上的信息也在急剧膨胀，各

4、类信息混杂在一起，要想充分利用这些信息资源就要对它们进行整理，如果面对中文信息不采用分词技术，那么整理的结果就过于粗糙，而导致资源的不可用，例如：“制造业和服务业是两个不同的行业”和“我们出口日本的和服比去年有所增长”中都有“和服”，而被当作同一类来处理，结果是检索“和服”的相关信息，会将他们都检索到。通过引入分词技术，可以使机器对信息的整理更准确、更合理，在“制造业和服务业是两个不同的行业”中“和服”不会被当作一个词来处理，那么检索“和服”当然不会将它检索到，使得检索结果更准确，效率也会大幅度的提高

5、。3.中文分词的意义和作用要想说清楚中文分词的意义和作用，就不得不提第18页－共18页海量中文智能分词技术白皮书2011年1月到智能计算技术。智能计算技术涉及的学科包括物理学、数学、计算机科学、电子机械、通讯、生理学、进化理论和心理学等等。简单的说，智能计算就是让机器“能看会想，能听会讲”。要想实现这样的一个目标，首先就要让机器理解人类的语言，只有机器理解了人类的语言文字，才能使人与机器的交流成为可能。再反观我们人类的语言中，“词是最小的能够独立活动的有意义的语言成分”，所以对于中文来讲，将词确定下来

6、是理解自然语言的第一步，只有跨越了这一步，中文才能像英文那样过渡到短语划分、概念抽取以及主题分析，以至于自然语言理解，最终达到智能计算的最高境界，实现人类的梦想。   中文分词是中文信息处理系统的基础，有着极其广泛的实际应用。从基本的输入系统，到文字处理，以及语音合成，文本检索，文本分类，自然语言接口，自动文摘等等，无处不渗透着分词系统的应用。分词系统的完善与应用，必将促进中文信息处理系统的广泛应用，换言之，也就提高了中文软件对于中文的处理能力，这也将使得计算机用户的日常工作的效率得以提高。第18页－

7、共18页海量中文智能分词技术白皮书2011年1月第一章产品概述1.1海量中文智能分词基础件简介海量中文智能分词基础件是海量信息在海量中文智能分词技术基础之上推出的分词准确、高效、接口方便灵活的便于二次开发的软件包，以及为使软件包在目标系统中实现最优品质而提供的特定服务。其服务包括：目标系统架构咨询、辅助开发、技术培训、售后支持等，简称为中文分词基础件。1.2海量中文智能分词基础件应用前景作为中文信息处理的核心和汉语自然语言理解的基础，中文智能分词基础件有着广泛的应用前景。主要应用领域如下：   1）信

8、息检索：如全文检索、主题检索   2）汉字处理：如智能拼音输入、手写识别输入、中文OCR识别、自动校对、简繁转换   3）语音处理：如语音合成、语音识别   4）内容识别与分析：如信息摘录、自动文摘、自动标引、文本自动分类、自动过滤、数据挖掘   5）自然语言理解：如机器翻译、自然语言接口第18页－共18页海量中文智能分词技术白皮书2011年1月第二章产品技术特点2.1海量中文智能分词基础件的特点中文分词技术的滞后是将当前中文信息自动化处理技术发展的瓶颈