基于语义解析模型技术的搜索

《基于语义解析模型技术的搜索》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、一种基于语义解析模型的搜索引擎技术探索吴长林陈飔摘要：本文介绍了一种基于语义解析模型的搜索引擎技术，在这项技术的支撑之下构建了一个实验的语义搜索系统平台，以实证的案例说明该技术的优势。从运行机制上对该技术与Google、百度的机理进行了对比分析。关键词：语义理解模型解析搜索实证1、语义解析模型计算机根据关键词来搜索比对，寻找符合对最高的文本内容，谈不上任何意义上的理解；与之相对比，人类大脑对于信息的识别与选择属于对意义理解。本文提出的语义解析模型技术介乎二者之间，比关键词搜索比对技术、模式匹配技术要高明很多。但还不能完全达到人类大脑理解的程度，这种接近于理解，但还不能完全达到理解的

2、技术，称为语义解析模型技术，它采用的是解析模型，还没有达到人脑一样的完全意义上的理解。因此也称为弱理解技术。语义解析模型的应用领域很广，可以应用到信息的自动分类、自动搜索、机器翻译等多种领域。在这些领域的应用，可以带来远远超过现有技术带来的功能效果和应用体验。该项技术不是某些外国技术的中国版本，也不是在那些搜索技术的改形，而是中国研究人员的技术创新。因此具有完全原创的自主知识产权。当然，在研究本语义解析模型技术的过程中，我们花费了近20年时间，对于国内外过去的各种既有理论和技术进行过大量的分析、试验研究。在研究了应用对象特点和现有方法有效性之后，经过多轮反复猜想提出、试验验证评估、

3、改进，从而得到的一套行之有效的理论系统和相应的技术实现方案。这套系统是一套完全属于自主知识产权的应用系统。为了讨论方便，本文两位作者，暂时将本理论及其实现的系统称为“心意搜系统”。欢迎对于本技术理论和实际试验方案提出探讨和研究，也包括对于本模型的部分证伪研究或者对整体模型的证伪性探讨，以共同促进中国信息科技发展。2、语义解析模型在搜索引擎系统中的应用语义解析模型在搜索引擎系统中的应用，可以分为多种，一种是接近篇章理解的搜索，一种是接近机器翻译级别的句子理解式搜索。这两种应用都有各自的技术难点和应用价值。10搜索引擎在用户体验上面临的最大困难是查找准确度受到关键词技术的限制。用户采用

4、关键词搜索的时候，有很多网页与用户搜索意图无关，但用户却必须人工判读这些无关的网页，很多时候真正需要的信息被这些近似垃圾的信息所屏蔽。比如用google搜索“带透明外壳的计算机”，人们需要同时输入“透明”和“计算机”两个关键词，但是得到的99%的结果是网页中有独立的“透明”这个词汇，比如说“透明的玻璃杯”，而“计算机”则是该网页中另外一个专题“嵌入式计算机”的内容。二者虽然在同一个页面，却没有内在的内容关联。这样的网页当然不是用户所需要的。这种网页，用户在得到搜索结果后还需要花费大量时间人工阅读才能够得到所需要的特定信息。而这种搜索，经常有几百万个页面作为搜索结果出现。在这种情况下

5、，用户只能随机阅读一部分或者顺序阅读一定页面就结束搜索，如果每个结果一遍，用户往往需要1年时间才能查看完一项搜索结果。而语义解析模型技术在这个方面则可以大显身手，首先，可以屏蔽大批与用户搜索意图无关的结果。其次，可以在进一步理解基础上，进行更精确的搜索。它往往只提供前4-5个网页，如果是热门新闻专题，它也只提供那些确切的网页，没有一个页面会是多余的。语义解析模型系统，已经超越了透过语句的模式匹配技术、来发现相关搜索结果的比较初级的技术发展阶段（早期的Ask.com和刚刚出现的powerset则属于典型的模式匹配策略技术路线）。本文介绍的语义解析模型系统，是一个以少量关键词或者一篇范

6、文为搜索线索、但要保证结果精确符合用户意图、且保证不产生任何垃圾结果的搜索引擎系统。1、一个工程试验系统本文介绍的语义解析模型技术搜索系统，是一个实验级别的系统。该系统在一个工程服务器规模内展现了一种新型的搜索引擎技术成果。该系统能够接受用户输入的一段文字，并在0.5秒内找出与该段文字意义最接近的10个网页。0.5秒不包括网络通讯时间。目前该系统已经收集整理了几百万篇网页，能够对于很多篇章段落搜索给出比较准确的答案。该系统成功运用了语义解析模型技术，并实现了完全工程化。其实现速度查询一篇近似网页时间从48小时进化到3分钟，最后仅花0.2-0.5秒（当然，这个是一个在时间发展过程中逐

7、步实现的过程）。实例：基于一篇搜索线索搜索试验“从小受澳大利亚籍义父的影响，马云非常善于和西方社会沟通，在阿里巴巴业务尚不成气候的阶段，马云不断出现在各种能够提升阿里巴巴国际知名度的场合演讲、以及接受海外媒体采访，在海外树立了良好的国际化形象，为阿里巴巴赢得了海外投资者和海外买家的关注。10马云也利用其本人的魅力，来招揽忠诚和默契的“左膀右臂”，另外，马云对于整个管理团队也是敞开心扉，带头坚守。在2006年卫哲等一大批职业经理人加盟前，阿里巴巴并没有足够的资金和资源去