农业复杂自适应搜索模型研究及实现

《农业复杂自适应搜索模型研究及实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、中国科学技术大学博士学位论文农业复杂自适应搜索模型研究及实现姓名：黄河申请学位级别：博士专业：模式识别与智能系统指导教师：王儒敬20100601摘要摘要截止2009年底，互联网上的涉农网站已超过30000个，积累了丰富的农业技术、市场信息、政策法规、农业新闻等信息资源。然而由于互联网信息资源缺少统一的形式化表达，信息异质、异构、分散、重复现象严重，形成“信息孤岛"，很难发挥农业信息资源的集成效用。同时，由于农户文化水平、计算机操作能力的限制，“三农"用户很难使用传统的搜索工具去直接交互、捕捉和筛选个性化信息。面对海量的农业信息资源，“三农"用户只能望洋兴叹，“信息淹没"问题严重。因此，

2、建立专业化、个性化、智能化的农业搜索模型及相应的搜索引擎系统意义重大。本文针对互联网的开放性、分散性、层次性、演化性、巨量性等本质特性，提出了一种农业复杂自适应搜索模型。该模型建立农业信息资源发现、信息获取、信息处理与用户服务主体联盟，通过主体与网络资源、主体与网页内容和网页表现形式、主体与用户个性化需求之间的学习与适应机制，实现对复杂、动态的互联网环境的适应，从而提高农业搜索引擎的查全率与查准率，解决新一代搜索引擎面临的核心问题。针对农业互联网资源的动态性和高度分散性特点，本文提出了AADWED(AdaptiveAgricultureDeepWebEntryDiscovery)算法，

3、一种自适应农业领域DeepWeb资源发现算法。该算法通过不断从样本中学习到合适的查询表达式提交给通用搜索引擎来高效获取领域Deepweb资源入口页面。实验证明，该算法大幅度提高农业领域DeepWeb资源发现的收益率。针对对Web站点页面表现形式具有多样性、动态性等特点，本文提出了一种自适应的Web结构化数据提取算法。该算法在MDR算法的基础上，提出了一种基于相对熵的页面去噪算法，从而提高了Web结构化数据抽取的准确率。针对互联网存在的大量农业领域数据描述不统一、不完整、冗余等问题，本文重点研究了农产品价格、供求等信息的空间属性自动标注和基于语义的数据冗余处理问题，提高了数据的质量和可用

4、性，为进行精确检索和可视化分析服务提供了基础。针对不同Web用户的个性化需求，本文提出了一种基于FCA的自动挖掘用户兴趣主题算法。挖掘出的兴趣主题模式被描述成一组形式化概念，兴趣主题模式之间的联系被显示的在概念格中描述出来，利于用户理解。本文还提出了～种文档和用户感兴趣主题相关度的计算方法。通过对比实验，证明该方法是有效的。最后，本文基于所提出的农业复杂自适应搜索模型，设计并实现了农业垂摘要直搜索引擎系统“中国搜农"，该系统已经开始大规模对外公开服务，并已在多个省市得到推广和应用。关键词：复杂自适应系统垂直搜索引擎网络资源发现深度网页用户个性化网页结构化数据抽取形式化概念分析——垒垒!

5、：!堡垒￡!ABSTRACTBytheendof2009，therehavebeenmorethan30000agriculturalwebsitesontheinternet，whichcoveralmostallkindsofagriculturalinformation，suchasagriculturaltechnology,marketinformation，agriculturalnewsandpolicies．However,agriculturalinformationODthewebhasnouniformrepresentationandisheterogeneOU

6、S，distributedandredundant，whichformsisolatedinformationislands．Sincetheknowledgeoffarmerstooperateacomputerislimited，itwouldbehardforthemtousetraditionalsearchtoolstoacquireandfilterpersonalizedinformationontheweb．Facinghugeamountofinformation，farmersareoftenfrustratedandtheDhenomenonof“informat

7、ionoverload”isaseriousmatterhere．Obviously．itissignificanttodeveloppersonalized，intelligentandprofessionalwebsearchmodelsandtools．Forthecharacteristicsofopenness，scatterings，hierarchy，evolutionandhugenessofinternet，anagricul