基于退火遗传算法自适应网络信息过滤系统的研究和实现

《基于退火遗传算法自适应网络信息过滤系统的研究和实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、山东师范大学硕士学位论文基于退火遗传算法的自适应网络信息过滤系统研究与实现姓名：朱振方申请学位级别：硕士专业：计算机软件与理论指导教师：刘培玉20090518山东师范大学硕士学位论文摘要信息过滤是一种系统化方法，他能够自动的将网络上的动态信息流与用户需求进行匹配，从信息流中抽取出符合用户个性化需求的信息并送给用户。当前信息过滤技术主要研究网络信息的获取和表示、用户模板的构建和更新、待处理文档同用户模板的相似度计算等问题。由于遗传算法应用于机器学习以及组合优化中有其他方法无法比拟的优点，因此本文从信息过滤准确率和速

2、度两个主要指标为出发点，应用遗传算法构建了信息过滤用户兴趣模板，并针对模型构建过程中遗传算法早熟的缺点、匹配过程中整体匹配效率较低以及训练过程中用户兴趣模板和文档库的更新问题提出了一系列的改进措施，最终实现了基于上述改进方案的网络信息过滤系统。本文主要工作包括：1、深入研究了网络信息过滤关键技术及相关过滤模型探讨了信息过滤的一般模型及其相关算法，分析了现有的信息过滤模型中存在的问题，重点研究了网络信息过滤中的网络数据的获取和表示、特征权值的计算方法、文本信息的表示、分类算法以及匹配和反馈技术等。2、将遗传算法应用

3、到信息过滤中生成过滤模板经过对传统文本分类技术的比较和研究，并且对于遗传算法优点及应用进行了充分分析，提出了基于遗传算法的文本分类及信息过滤模板构建方法，即文中所说的遗传训练。在遗传训练中，应用符号编码和二进制编码相结合的方法解决了向量文本的处理问题，通过一系列改进的遗传操作并且引进向量之间的相似度作为适应度函数，经过一定代数的遗传操作形成了文本分类和信息过滤的模板，而由网络数据包捕获模块捕获的数据包在进行分词处理之后就与模板进行相似度的比较，从而考察获取的网络信息文本属于哪令类别，最终实现对网络信息分类的目的，

4、也就实现了对网络信息的有效过滤。3、建立了基于改进遗传算法的网络信息过滤模型在充分分析遗传算法优点的基础上，将其引入到网络信息过滤中用于模板生成；针列遗传算法存在的局部最优的缺点，引入模拟退火操作对遗传算法从结构上进行调节和改进；针对遗传存在的参数固定、种群单一的缺点，引入了基于年龄的种群控制思想以及随代数变化的变交叉率和变异率。4、引入了基于概念的逻辑段落划分方法该方法建立在概念词典之上，通过分析待分类文本中所包含的逻辑概念，将待分类文本中表达相同意义的段落进行聚类分析，并建立以此逻辑层次划分方法为基础的逻辑段

5、落概念，然后以该逻辑段落作为分类的依据，考虑不同的段落对于文本主题表示的贡献程度。同时，针对匹配过程中存在的多义词和同义词现象，引入同义词概念扩充和关联词语扩充。5、提出了一种利用反馈文档动态修改类别模板方法类别模板建立的好坏直接关系到信息过滤系统的优劣，并且分类体系有可能经常变山东师范大学硕士学位论文更。而使用重新训练的方法耗时、费力，与反馈的初衷背道而驰，真正意义上的反馈应在已经产生的训练结果上进行调整，即是在过滤过程中自动实现过滤模板的调整。针对上述问题，课题研究过程中提出一种利用反馈文档动态修改类别模板的

6、算法。6、设计并实现了网络信息过滤系统NIFS按照分块、分层次以及模块化设计思路，设计并实现了网络信息过滤系统。系统实现三级过滤机制，采用基于SPI的网络封包截获技术进行数据包的截获及重组提高了过滤的速度，利用退火遗传算法对训练样本进行学习生成用户模板，并利用反馈学习调整优化用户模板，采用段落化匹配方式提高匹配精度。关键词：信息过滤；退火遗传；自学习；模糊调整；逻辑段落分类号：TP393．08山东师范大学硕士学位论文AbstactAsasystematicapproach，informationfiltering

7、technologycouldmatchtheuserdemandwiththedynamicinformationflowfromwhichweextractthepersonalizedinformationofuserdemandandsendittotheuser．Currentresearchoninformationfilteringisabouthowtoobtainandexpresstheinformation，howtobuildtheusertemplatefile、Ⅳimlearninga

8、lgorithm，howtocalculatetheinformationsimilarityandSOon．GeneticAlgorithmisappliedtomachinelearningandcombinatorialoptimizationwhoseadvantagesbeyondothermethods．Therefore，inthispaper，ontheb