分词算法无词典分词模型.docx

《分词算法无词典分词模型.docx》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、无词典分词模型1.按字索引设一个文本D可以描述为，为字符。二元组集合称为该文本的按字索引，其中二元组中，整数为在文本中的位置。2.字共现设串所产生的按字索引为具有则称（或）为2字符长度的一次共现。算法：1)将文本读入到一个字符串数组中2)将数组中所有为标点符号的位置填为空格，将它们的信息记录在如下结构中：字串字串长度字串频次n位置1位置n图1词存储结构3)对数组中所有非空格字符，寻找数组中与相同的字符。4)将数组中非空格的“残留字串”作为“词”也记录到词结构中去5)结束。小结优点：该算法的一个明显好处是它能分出“新词“，只要出现两次，就可以正确地分出来，即使

2、只出现一次，仍有可能在算法第四步中被正确的分割出来；该分词方法对大量的人名地名等专有名词有较好的处理能力。缺点：从理论上来讲，当文本信息太少时，系统所用的分词时间较短，但会由于“共现词”太少而使“残留字串”较多，误会结果增加；当文本信息太多时，建立索引的空间需求太大，分词所需时间太长。只有当文本信息长度适中时，系统的性能，代价比会较高。由于使用了“找最长字共现”的原则，对于像“中华人民共和国”这样的字符串，在本算法中将被分为一个词，而不是像传统的分词方法将它分为“中华”“人民”“共和”“国”四个词。