利用表格信息地web文本分类研究与实现

《利用表格信息地web文本分类研究与实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、上海大学硕士学位论文摘要随着互联网等信息技术的发展和广泛应用，web已经成为人们获取信息最重要手段之一。如何从这海量的信息资源库中快速、准确地进行分类并提取出有用的信息，变得十分迫切。Web信息抽取技术和Web文本分类技术作为Web信息处理重要的组成部分，现在也越来越得到更多人的重视。本文首先通过对web信息抽取技术的研究，提出了一种基于表格结构的web表格信息抽取模型，该模型主要有表格定位模块、表格结构预处理模块和表格信息抽取与重构模块等三个模块组成，根据web表格的结构标记和自定义的启发式规则来抽取表格信息。实验结果表明该模型能够很好的用于Web表格信息的抽取，

2、并且可以把不标准的Web表格转换成标准的表格形式，用Excel文件格式来存储。同时为了得到表格信息中的特征信息(关键信息)，本文通过观察和研究表格结构的类型，定义了一些启发式规则对表格单元信息类型进行识别，从而区分出表格信息中的特征信息和一般单元信息。然后通过对web文本分类技术和本体理论的研究，本文构建了关于web表格特征信息知识的领域本体，提出并设计了一种用于Web文本分类的二次分类模型。该模型使用支持向量机方法对测试样本进行第一次分类，由于设定了较高的分类阈值，一次分类后部分测试样本未确定所属类别；对于未确定所属类别的测试样本，本文抽取样本中的Web表格特征信

3、息，与基于领域本体的分类模板进行相似度匹配，进行第二次分类。最后通过实验，本文对比二次分类模型方法和基于支持向量机的分类方法，发现无论是在准确率上，还是在召回率上，二次分类模型方法都明显优于只使用支持向量机的分类方法，从而也验证了二次分类模型方法的可行性，更进一步表明我们可以利用Web文本中所包含的多种信息(如Web表格信息等)来对文本进行分类，提高web文本分类的准确率和召回率。关键词：信息抽取，Web文本分类，启发式规则，领域本体，相似度匹配上海大学硕士学位论文ABSTRACTWiththeIntemetandotherinformationtechnologi

4、es’Sdevelopmentandbeingwidelyused，Webhasbecomeoneofthemostimportantapproachestoobtaininformation．Itisveryurgenttofindhowtosearchandclassifythedocumentquicklyandpreciselyfromthehugeinformationdatabase．ThetechnologiesofextractinginformationfromWebdocumentandclassifyingWebtextautomaticall

5、yareconsideredasessentialcomponentsoftheinformationprocess，andmoreandmorepeoplepayattentiontothem．Firstofall，thispaperresearchesthetechnologiesofWebinformationextractionandpresentsanewmodelthatextractsinformationfromtablesofWebdocumentsbasedontablestructure．Itiscomposedoftablepositioni

6、ngmodule,tablestructurepretreatmentmoduleandtableinformationextractionandrefactoringmodule．ThismodelextractsinformationfromtableaccordingtoWebtablestructurelabelandheuristicmethodrulesofuser-definition．ExperimentalresultsshowthatthismodelCallbewellappliedoninformationextractionfromtabl

7、esofW曲documents，andalsocantransformdifferentkindsofW曲tablesintostandardtableformat．1ikeExcelformat．Inordertogetthecharacteristicinformation(1【eyinformation)oftable，thepaperdefinessomeheuristicrulestoidentifythetypeoftable’Scellinformationbyobservingandstudyingthetypeoftablestructure，