信息检索课件-精简版- 分析处理

《信息检索课件-精简版- 分析处理》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、检索系统的一般模式网页互联网匹配检索结果用户需求网页采集分析处理建立索引索引库格式分析与转换编码分析与转换词汇分析与处理结构分析（文本分割）类别分析（文本分类）分词对中文搜索引擎的影响Google6/20“瑞星以技术和服务开拓网络安全市场”“陈慧琳《心口不一》化妆和服装自己包办”百度14/20“商品和服务实行明码标价”“青岛东和服装设备”中搜20/20搜索引擎结果中的错误，是由于分词的不准确造成的。中文分词的准确度，对搜索引擎结果相关性和准确性有相当大的影响。无关网页从哪里来？互联网匹配瑞星以技术和服务开拓网络安全市

2、场用户需求网页采集分析处理建立索引索引库检索结果索引策略……技术和服务……按字技术和服务按二元语法技术术和和服服务按词技术和服务中文分词分词是将连续的字序列按照一定的规范重新组合成词序列的过程瑞星以技术和服务开拓网络安全市场瑞星/以/技术/和/服务/开拓/网络安全/市场中文分词与其他分词不同英文中单词之间是以空格作为自然分界符中文只是字、句、段有明显的分界符词没有一个形式上分界符从字串到词串，是一个降低不确定性的过程。正向最大匹配法信息检索课程是三个学时。……课程……信息检索……学科学时学问……分词词表正向最大匹配的

3、问题最大词长词长过短，长词就会被切错词长过长，效率就比较低分词歧义“瑞星以技术和服务开拓网络安全市场”分词歧义发现问题双向最大匹配分析问题歧义字段的类型与特点解决问题歧义字段库词性我为人民工作。统计技术和服务……歧义字段的链长链长：交集型歧义字段中含有交集字段的个数，称为链长。链长为1：从小学链长为2：市民政局链长为3：为人民工作链长为4：结合成分子时链长为6：努力学习语法规则软件实现3：长链歧义字段获取输入1998年1月人民日报电子版输出歧义字段按链长降序排列，前100个要求：1人完成分词歧义发现问题双向最大匹配

4、分析问题歧义字段的类型与特点解决问题歧义字段库词性我为人民工作。统计技术和服务……歧义字段库……市民政局1300为人民工作12020结合成分子时201201技术和服务20120……软件实现4：歧义字段规则库获取输入1998年1月人民日报电子版输出歧义字段规则库要求：1人完成最大概率分词S:有意见分歧W1:有/意见/分歧/P(W1

5、S)W2:有意/见/分歧/P(W2

6、S)单词概率…………有0.0180有意0.0005意见0.0010见0.0002分歧0.0001…………P(W1)=P(有)*P(意见)*P(分歧)=1.

7、8×10-9P(W2)=P(有意)*P(见)*P(分歧)=1×10-11P(W1)>P(W2)软件实现5：汉语分词系统输入任意一段文本可能包含中文标点、西文标点、阿拉伯数字、西文字符输出分词结果词之间用“/”分隔要求双向最大匹配发现歧义片断利用歧义片断库解决分词歧义未解决的用最大概率分词可3人完成准确率、召回率、F值准确率Precision结果中的正确样例数与结果中全部样例总数的比值召回率Recall结果中的正确样例数与实际存在的正确样例数的比值F值准确率和召回率的加权平均一般用F1准确率、召回率、F值准确率Prec

8、ision结果中的正确样例数与结果中全部样例总数的比值召回率Recall结果中的正确样例数与实际存在的正确样例数的比值在分词性能的度量时：Precision=切分正确的词数/系统切分出的词数Recall=切分正确的词数/标准答案的词数准确率、召回率、F值在分词性能的度量时：Precision=切分正确的词数/系统切分出的词数Recall=切分正确的词数/标准答案的词数举例某分词系统的切分结果瑞/星/以/技术/和服/务/开拓/市场标准答案瑞星/以/技术/和/服务/开拓/市场准确率、召回率、F值准确率Precision结

9、果中的正确样例数与结果中全部样例总数的比值召回率Recall结果中的正确样例数与实际存在的正确样例数的比值在作为搜索引擎性能的度量时：Precision=搜索到的相关文档数/搜索到的全部文档数Recall=搜索到的相关文档数/网上全部相关文档数准确率、召回率、F值在作为搜索引擎性能的度量时：Precision=搜索到的相关文档数/搜索到的全部文档数Recall=搜索到的相关文档数/网上全部相关文档数举例：利用某搜索引擎搜索“和服”搜索引擎返回100个结果，其中有78个与和服相关互联网上共有10000个与和服相关的网页