基于Web开源数据挖掘的企业竞争情报系统研究

《基于Web开源数据挖掘的企业竞争情报系统研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、摘要随着互联信息的多元化，互联网上海量的信息源能提供丰富的情报信息来源，因此互联网上的开源情报越来越受到情报工作人员的重视。本文通过互联网开源情报搜集技术和情报分析理论的研究，旨在构建集情报采集、情报分析、情报服务于一体的企业竞争性情报系统。本文系统地阐述了企业竞争情报的理论，提出了基于Web开源数据挖掘的企业竞争情报系统体系构架，将企业竞争性情报系统划分为情报搜集子系统、情报分析子系统和情报服务子系统。在情报搜集子系统中采用了主题的网络聚焦爬虫和元搜索数据采集技术保证数据采集主题的相关性，构建网络爬虫器对Web数据进行自动采集和下载，通过网页J下文抽取技术、PDF与Offic

2、e文档文本转换技术对下载的半结构化数据进行结构化处理，并对结构化数据采用“I—Match”算法进行文本查重，将数据全文索引后保存，构建起企业竞争性情报系统的情报自动采集和数据处理平台。在情报分析子系统中，采用中文文本信息处理与挖掘相关的技术和方法对搜集的结构化数据进行了情报分类分析、企业战略网络分析、竞争对手分析，分析结果构建起企业竞争情报的产品体系。在情报服务子系统中提出了研究了企业的互联网信息监控服务的解决方案，对于监控互联网上企业的负面信息和竞争对手动态具有重要的应用价值。并构建了适合企业情报搜索服务的搜索引擎结构和提出了情报层次化应用体系。基于Web开源数据构建的企业竞

3、争性情报系统，能使企业充分开发和有效利用互联网这个海量信息仓库，并从中挖掘竞争性的价值情报，对于构建企业竞争战略、提高企业核心竞争力具有十分重要的意义。关键词：企业竞争情报Web开源情报采集情报挖掘情报分析企业战略网络ABSTRACTWiththediversityofinformationintheInteract，themassiveIntemetinfo册ationprovidesarichsourceofintelligenceinformation,SOtheintelligenceworkerspaymoreattentiontotheopensourceintel

4、ligence．ThisarticleaimstoconstructanEnterpriseCompetitiveIntelligenceSystem(ECIS)whichassembleintelligenceautomaticcollection，intelligenceanalysisandintelligenceservicetoonewhole，accordingtoopensourceintelligencecollecttechnologyandanalysistheoryresearch．ThisarticleexpoundsEnterpriseCompetit

5、iveintelligencetheorysystematically,putsforwardanECISconstructionbasedonwebopensourcedatamininganddividestheECIStothreeparts：Intelligencecollectionsubsystem，IntelligenceanalysissubsystemandIntelligenceservicesubsystem．Intheintelligencecollectionsubsystem，thepapertakesthethemefocusederawlerme

6、thodandmeta。searchdatacollectingtechnologytoensurethecollecteddatarelativetogiventheme．Andthencreateacrawlertotraverseweblinksanddownloaddataautomatically．Withthesupportofwebpagescontentextraction，PDForOfficedocumentstextconversiontechnology,thecollectedsemi．structuredataisconvertedtostructu

7、raldata．Thepapertakes“I-Match’’algorithmtodetectandremoveduplicatedocuments，thenindexandstorethedata．Tosumup，thissegmentbuildsaautomaticdatacollectingandprocessingplatformfortheECIS．IIltheintelligenceanalysissubsystem，thepaperuseChinesetextinformat