web舆情信息数据分析模型研究及系统设计

《web舆情信息数据分析模型研究及系统设计》由会员上传分享，免费在线阅读，更多相关内容在应用文档-天天文库。

1、为了确保“教学点数字教育资源全覆盖”项目设备正常使用，我校做到安装、教师培训同步进行。设备安装到位后，中心校组织各学点管理人员统一到县教师进修学校进行培训，熟悉系统的使用和维护。Web舆情信息数据分析模型研究及系统设计　　摘要：面对海量Web舆情信息数据资源，在前期探索其演化规律及影响因素研究基础上，该文对Web舆情信息数据进行了特征分析，结构化定义，设计了Web数据分析系统框架，并深入了相关技术研究，为把握Web数据发展态势，科学管理互联网数据信息提供了可行性依据。　　关键词：Web数据；数据挖掘；文本分类；文本聚类　　中图分类号：G206文献标识码：A文章编号：1009-

2、-0022-03　　1概述　　互联网及相关技术地快速发展，产生了海量的网络数据信息，面对千变万化的网络数据资源，单纯采用传统的手工检索、收集、分析、处理方法，已经无法满足网络数据管理需求。本文在已有的网络信息演化阶段、影响因素等研究基础上[1]，构建了网络数据模型，设计了网络数据分析系统框架，并研究了技术路线，为快速抽取网络数据信息，有效把握其发展态势，方便实现科学管理提供了可行性依据。　　2相关研究述评为了充分发挥“教学点数字教育资源全覆盖”项目设备的作用，我们不仅把资源运用于课堂教学，还利用系统的特色栏目开展课外活动，对学生进行安全教育、健康教育、反邪教教育等丰富学生的课

3、余文化生活。为了确保“教学点数字教育资源全覆盖”项目设备正常使用，我校做到安装、教师培训同步进行。设备安装到位后，中心校组织各学点管理人员统一到县教师进修学校进行培训，熟悉系统的使用和维护。　　饶元等Web数据网络分析主要从社区网络分析、整体网络分析和个体网络中心开始，主要采用数据网络分析手段、方法来解决系统分析的主要问题[2]。庞宇提出了网络数据的特点及主要载体[3]。郑琳提出了Web用户评论中同阶层人群的“抱团取暖”行为[4]。厚泽民等提出了基于潜在语义索引的改进算法[5]。安计勇等提出了改进的K均值文本聚类算法[6]。　　3Web数据模型研究　　Web数据特征分析　　W

4、eb数据来源于互联网，具备发布随意、形式多样、表达自由等特点，使得特征分析结果冗余度高，离散效果明显，准确度差，难以科学把握其数据挖掘过程和结果分析。因此，对Web数据文本开展有效地预处理，去伪存真，消除冗余和关联数据，是确保Web数据挖掘质量的关键所在，也是进一步开展数据分析、聚类研究的前提。　　Web数据来源于互联网，在网民作用力下随着互联网信息的演化、影响因素的制约和内驱力作用呈现出沿时间轴发展的趋势，Web数据具备以下几个关键特征：　　1）Web数据所在文本数量规模大。据中国互联网网络信息中心统计报告，广大网民借助在线博客、微信、论坛、微博等社交工具开展社交讨论。这是

5、Web数据的广泛来源。　　2）Web数据涉及面广，内容复杂。Web数据几乎涵盖了政治、经济、文化、军事、科技、艺术、医疗、生态、环保、养老、就业等所有重要领域，还包含了区域特点、风土人情及民众生活的方方面面及社会百态。为了充分发挥“教学点数字教育资源全覆盖”项目设备的作用，我们不仅把资源运用于课堂教学，还利用系统的特色栏目开展课外活动，对学生进行安全教育、健康教育、反邪教教育等丰富学生的课余文化生活。为了确保“教学点数字教育资源全覆盖”项目设备正常使用，我校做到安装、教师培训同步进行。设备安装到位后，中心校组织各学点管理人员统一到县教师进修学校进行培训，熟悉系统的使用和维护。

6、　　3）广告信息多，真假难辨。非官方的Web页面多数存在大量的广告信息，以及不实信息帖子等，与Web数据主题无关，需要对数据进行噪声预处理，其质量高低直接影响文本挖掘和数据分析结果。　　4）Web数据分布的不均衡。Web用户网上行为的不确定性、选择载体的不确定性等因素决定了Web数据的分布不均。如：天涯论坛大多讨论社会百态，铁血论坛主要针对军事领域，小木虫论坛科研技术数据居多。不同网民围绕各自的兴趣倾向访问不同Web页面，衍生出一系列的评论、转帖、顶帖等行为数据。　　5）Web用户存在情绪倾向、行为偏好等个性特征。Web用户大多数属于普通用户，十分关注生活所用、工作所需以及与

7、自身利益相关的就业、环保、退休养老等热点话题，个人情绪及行为偏好等相关数据在所难免地存在与Web数据中。　　Web数据结构化模型定义　　在掌握Web数据结构特征前提下，为了充分挖掘Web数据，并能为数据分析、数据处理所用，本文对Web数据结构化定义如下：　　1）Web用户主体结构化模型定义为了充分发挥“教学点数字教育资源全覆盖”项目设备的作用，我们不仅把资源运用于课堂教学，还利用系统的特色栏目开展课外活动，对学生进行安全教育、健康教育、反邪教教育等丰富学生的课余文化生活。为了确保“教学点数字教育资源全覆