Web网页信息中特定内容的识别技术研究

《Web网页信息中特定内容的识别技术研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、哈尔滨工业大学工学硕士学位论文摘要伴随着互联网上日益丰富的信息资源，计算机可读的文本信息越来越多，而大量有害的中文信息渗入其中，严重影响着人们正常的工作和生活。因此急需对网络信息中的有害内容进行有效识别并做相应的处理。大规模的可用网络资源和用户对特定信息内容的筛选需求，使得对大规模文本信息处理软件的智能性、速度和精度都提出了严格的要求。我们所研究的内容就是如何准确地表达用户需求，进而在信息流中自动地屏蔽掉用户不希望看到的文本信息，使人们更健康地利用网络资源。本文的工作主要集中在对包含有特殊信息内容的文本，进行的有害度评测上。参考以往文本过滤系

2、统所采用的技术，我们发现在这个特定领域，特殊应用上，它们有明显的不足之处。本文根据网络中文信息中有害内容的特点，提出了通过机器学习识别特定内容的新方法。该方法通过对训练语料的归纳学习，获得作为系统知识的词性转移表。在对实际的中文信息文本进行有害度评测时，基于关键词的读音匹配原则，并依据系统知识得到评测值，以此来考查真实文本中匹配上的关键词与语料中学习到的同一关键词在上下文搭配规则的相似程度，如果该评测值超过预定的阐值，则将其屏蔽。我们以此为基础，开发了一个实验性的系统。实验结果表明，包括中文网页的关键词识别模块、基于词性转移表的真实文本的判定

3、模块，均达到了比较理想的效果。关键词信息识别;语料学习;词性转移表;读音匹配哈尔滨工业大学工学硕士学位论文AbstractWiththeavailableresourcesontheInternetbecomingplentiful,moreandmoreinformationisnowreachableinmachine-readableform.AndsimultaneouslyalargeamountofillegalharmfulChineseinformationispermeatedamongthemtoinfluencepeop

4、le'snormalworkandlifeseriously.Theavailableresourcesinlargescaleonnetworkandthefilteringrequirementofharmfulinformationmakethetextinformationacquisitionbottleneckmoreserve,thusgreatlychallengetheprocessingsystemsinsmartness,speedandprecision.Whatweresearchonishowtoexpressus

5、ers'demandsandhowtoautomaticallyshieldharmfulinformationindatastreamsothatpeoplecanusetheseresourceshelpfully.Thethesisfocusesontheevaluatingofthetextsassociatedwithspecialharmfulinformation.Wefindthattheconventionaltechniquesarelimitedinthesespecialapplicationandareabyanal

6、yzingprevioussystems.ThroughanalyzinganumberofillegalharmfulcontentsininformationontheInternet,anewmethodispresentedwhichrecognizesspecificcontentsontheInternetbyMachineLearning.Assystemknowledge,thePartofSpeechTransfer-Formcanbeobtainedbyinductivelearningoftrainingcorpus.W

7、henweevaluateapracticalChinesetextbyutilizingthewaybasedonPronunciationMatchingtoextractkeywords,theevaluationvaluecanbegainedaccordingtothesystemknowledge.Thisevaluationvalueisusedtoexaminethecomparabilityofthecontextdependenceregulationbetweenthekeywordmatchedinthepractic

8、alChinesetextontheInternetandthesamekeywordthathasbeenlearntincorpus.Iftheevaluati