浅谈中文分词的作用和意义-诺亚商舟.doc

《浅谈中文分词的作用和意义-诺亚商舟.doc》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、浅谈中文分词的作用和意义英文是以词为单位的，词和词之间是靠空格隔开，而中文是以字为单位，句子中所有的字连起来才能描述一个意思。例如，英文句子“Iamastudent.”，用中文则为：“我是一个学生”。计算机可以很简单通过空格知道student是一个单词，但是不能很容易明白“学”、“生”两个字合起来才表示一个词。把中文的汉字序列切分成有意义的词，就是中文分词，有些人也称为切词。我是一个学生，分词的结果是：“我”“是”“一个”“学生”。为了让广大站长更好地运用中文分词技术，网络营销外包公司小编为大家讲讲中文分词的作用和意义。要想

2、说清楚中文分词的意义和作用，就要提到智能计算技术。智能计算技术涉及的学科包括物理学、数学、计算机科学、电子机械、通讯、生理学、进化理论和心理学等等。简单的说，智能计算就是让机器“能看会想，能听会讲”。要想实现这样的一个目标，首先就要让机器理解人类的语言，只有机器理解了人类的语言文字，才使得人与机器的交流成为可能。再反观我们人类的语言中，“词是最小的能够独立活动的有意义的语言成分”，所以对于中文来讲，将词确定下来是理解自然语言的第一步，只有跨越了这一步，中文才能像英文那样过渡到短语划分、概念抽取以及主题分析，以至自然语言理解，

3、最终达到智能计算的最高境界，实现人类的梦想。从现阶段的实际情况来看，英文已经跨越了分词这一步，也就是说在词的利用上已经先一步，并且已经展现了良好的应用前景，无论是信息检索还是主题分析的研究都要强于中文，究其根本原因就是中文要通过分词这道难关，只有攻破了这道难关，我们才有希望赶上并超过英文在信息领域的发展，所以中文分词对我们来说意义重大，可以说直接影响到使用中文的每一个人的方方面面。中文分词到底对搜索引擎有多大影响?对于搜索引擎来说，最重要的并不是找到所有结果，因为在上百亿的网页中找到所有结果没有太多的意义，没有人能看得完，最

4、重要的是把最相关的结果排在最前面，这也称为相关度排序。中文分词的准确与否，常常直接影响到对搜索结果的相关度排序。Google的中文分词技术采用的是美国BasisTechnology公司提供的中文分词技术，百度使用的是自己公司开发的分词技术，中搜使用的是国内海量科技提供的分词技术。由此可见，中文分词的准确度，对搜索引擎结果相关性和准确性有相当大的关系。