淘宝分词原理案例解析.ppt

《淘宝分词原理案例解析.ppt》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、淘宝分词原理案例解析演讲人：卞洪文卞洪文，SEM营销师，淘宝站内外网络运营推广专才、网络营销顾问。曾主导美的集团华北大区电商项目，国内网络营销运营推广专才、网络营销顾问，从事互联网行业5年有余，网店推广，搜索引擎SEM/SEO优化及直通车推广等经验专家。人物简介打开淘宝，搜索“湿巾纸”和“湿纸巾”，他们的展现结果是不同的。为什么展现结果不一样？基于全文检索技术的文本搜索引擎，至今都是主要的搜索引擎技术。商家的意识，搜索引擎，消费者的意识，这3者是一个整体；搜索引擎充当了中间的桥梁，而搜索引擎有它自

2、己的规则。搜索引擎是怎么来识别这2个词的呢？目前主流的分词算法有4类：字符串匹配，理解分词，统计分词，语义分词。最流行的，就是字符串匹配分词算法，是几乎所有的文本搜索引擎都在用的分词算法。字符串匹配，是基于字典的分词方法，按照一定的策略，将待分析的汉字串与一个大型的机器词典中的词条进行匹配。词典中找到该字符串，则匹配成功。字符串匹配分词算法，包含了3个要素：词典，文本扫描顺序，匹配原则。文本扫描顺序包括：正向扫描，逆向扫描，双向扫描。匹配原则包括：最大匹配，最小匹配，逐词匹配，最佳匹配。我们来看2

3、个最常用的文本搜索引擎的扫描方法：正向最大匹配法（MM），逆向最大匹配法（RMM）。对正向最大匹配法（MM）的理解：从左到右，依次扫描，对符合检索命令的词进行标识红色，包含了全部检索命令，即为匹配。所以我们常常看到，淘宝搜索的结果，有很多词是红色，而且同一个词出现了多次的红色。这种匹配方法的错误率是1/169.对逆向最大匹配法（RMM）的理解：从右到左，依次扫描，每次匹配不成功时，去掉前面的一个汉字，剩余的词标识为红色，包含了全部检索命令，即为匹配。这种匹配方法的错误率是1/245。我们来看“湿巾

4、纸”：在搜索结果中，标识为红色的字是“湿巾纸”“湿巾”“纸”。我们完全有理由认为，搜索引擎将“湿巾纸”这个词识别为“湿巾”和“纸”2个词的组合。我们来看“湿纸巾”：在搜索结果中，标识为红色的字是“湿纸巾”“湿纸”“巾”。我们完全有理由认为，搜索引擎将“湿纸巾”这个词，识别为“湿纸”和“巾”2个词的组合。所以，“湿巾纸”和“湿纸巾”的展现结果不一样。谢谢大家！