浅析网络大数据带来的挑战

《浅析网络大数据带来的挑战》由会员上传分享，免费在线阅读，更多相关内容在应用文档-天天文库。

1、为了确保“教学点数字教育资源全覆盖”项目设备正常使用，我校做到安装、教师培训同步进行。设备安装到位后，中心校组织各学点管理人员统一到县教师进修学校进行培训，熟悉系统的使用和维护。浅析网络大数据带来的挑战　　[摘要]近几年，网络大数据越来越显示出巨大的影响作用，面对类型繁多的结构化、半结构化、非结构化的海量数据，如何去粗存精、去冗存真是大数据分析面临的挑战。为此，分析了网络大数据的复杂性、不确定性、涌现性，对网络数据的搜集、分析和挖掘有一定的借鉴意义。　　[关键词]大数据；复杂性；不确定性；涌现性；挑战　　中图分类号：TP372文献标识码：A文章编号：1009-914X14

2、-0374-01　　前言：　　继物联网，数据挖掘等名词已经广泛应用于各行各业，深入到人们的生活中之后，大数据也已经悄然来到我们的身边，准备掀起下一个信息革命的浪潮。大数据的来临带来了一场生活、工作与思维的大变革，涉及到公共卫生、商业、思维等相关领域的革命。网络大数据越来越显示出巨大的影响作用，正在改变着人们的工作与生活，加强对大数据研究具有重要意义。　　1网络大数据的复杂性　　复杂性造成网络大数据存储、分析、挖掘等多个环节的困难.网络大数据的复杂性主要包括数据类型的复杂性、数据结构的复杂性和数据内在模式的复杂性。　　数据类型复杂性为了充分发挥“教学点数字教育资源全覆盖”项

3、目设备的作用，我们不仅把资源运用于课堂教学，还利用系统的特色栏目开展课外活动，对学生进行安全教育、健康教育、反邪教教育等丰富学生的课余文化生活。为了确保“教学点数字教育资源全覆盖”项目设备正常使用，我校做到安装、教师培训同步进行。设备安装到位后，中心校组织各学点管理人员统一到县教师进修学校进行培训，熟悉系统的使用和维护。　　信息技术的发展使得数据产生的途径不断增加，数据类型持续增多.相应地，则需要开发新的数据采集、存储与处理技术。例如社交网络的兴起，使得微博、SNS个人状态信息等短文本数据逐渐成为互联网上的主要信息传播媒介.与传统的长文本不同，短文本由于长度短，上下文信息

4、和统计信息很少，给传统的文本挖掘带来很大的困难。相关的研究包括利用外部数据源、搜索结果扩充文档，或者利用内部相似文档信息来扩充短文本的表达。然而，无论是利用外部数据，还是利用内部数据，都可能引入更多的噪声。另一方面，不同数据类型的有机融合给传统的数据处理方法带来了新的挑战。　　数据结构的复杂性　　传统上处理的数据对象都是有结构的，能够存储到关系数据库中。但随着数据生成方式的多样化，如社交网络、移动计算和传感器等技术，非结构化数据成为大数据的主流形式。非结构化数据具有许多格式，包括文本、文档、图形、视频等等.非结构化数据当中蕴含着丰富的知识，但其异构和可变的性质也给数据分析

5、与挖掘工作带来了更大的挑战。与结构化的数据相比，非结构化数据相对组织凌乱，包含更多的无用信息，给数据的存储与分析带来很大的困难。目前相关的研究热点，包括开发非关系型数据库来存储非结构化数据。为了充分发挥“教学点数字教育资源全覆盖”项目设备的作用，我们不仅把资源运用于课堂教学，还利用系统的特色栏目开展课外活动，对学生进行安全教育、健康教育、反邪教教育等丰富学生的课余文化生活。为了确保“教学点数字教育资源全覆盖”项目设备正常使用，我校做到安装、教师培训同步进行。设备安装到位后，中心校组织各学点管理人员统一到县教师进修学校进行培训，熟悉系统的使用和维护。　　数据模式的复杂性　　

6、随着数据规模的增大，描述和刻画数据的特征必然随之增大，而由其组成　　的数据内在模式将会以指数形式增长。首先，数据类型的多样化决定了数据模式的多样化。不仅需要熟悉各种类型的数据模式，同时也要善于把握它们之间的相互作用。这种面向多模式学习的研究需要综合利用各个方面的知识。其次，非结构化的数据通常比结构化数据蕴含更多的无用信息和噪声，网络数据需要高效鲁棒的方法来实现去粗存精，去冗存真。搜索引擎就是从无结构化数据中检索出有用信息的一种工具。尽管搜索技术在工业上已经取得极大的成功，但仍然存在很多不足，都有待进一步提高。另外，网络大数据通常是高维的，往往会带来数据高度稀疏与维度灾难等

7、问题。在这种情况下，由于数据模式统计显著性较弱，以往的�y计学习方法多针对高频数据挖掘模式，因此难以产生令人满意的效果。　　2网络大数据的不确定性　　数据的不确定性　　原始数据的不准确以及数据采集处理粒度、应用需求与数据集成和展示等为了充分发挥“教学点数字教育资源全覆盖”项目设备的作用，我们不仅把资源运用于课堂教学，还利用系统的特色栏目开展课外活动，对学生进行安全教育、健康教育、反邪教教育等丰富学生的课余文化生活。为了确保“教学点数字教育资源全覆盖”项目设备正常使用，我校做到安装、教师培训同步进行。设备安装到位后，中心校组织各