大数据文献综述

《大数据文献综述》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、信息资源管理文献综述题目：大数据背景下的信息资源管理系别：信息与工程学院班级：2015级信本1班姓名：学号：1506101015任课教师：2017年6月11大数据背景下的信息资源管理摘要：随着网络信息化时代的日益普遍，我们正处在一个数据爆炸性增长的“大数据”时代，在我们的各个方面都产生了深远的影响。大数据是数据分析的前沿技术。简言之，从各种各样类型的数据中，快速获得有价值信息的能力就是大数据技术，这也是一个企业所需要必备的技术。“大数据”一词越来越地别提及与使用，我们用它来描述和定义信息爆炸时代产生的海量数据。就拿百度地图来说，我们在享受它带来的便利的同时，无偿的

2、贡献了我们的“行踪”，比如说我们的上班地点，我们的家庭住址，甚至是我们的出行方式他们也可以知道，但我们不得不接受这个现实，我们每个人在互联网进入大数据时代，都将是透明性的存在。各种数据都在迅速膨胀并变大，所以我们需要对这些数据进行有效的管理并加以合理的运用。关键词：大数据信息资源管理与利用目录大数据概念2大数据定义2大数据来源2传统数据库和大数据的比较3大数据技术3大数据的存储与管理3大数据隐私与安全4大数据在信息管理层面的应用5大数据在宏观信息管理层面的应用5大数据在中观信息管理层面的应用6大数据在微观信息管理层面的应用6大数据背景下我国信息资源管理现状分析71

3、1前言：大数据泛指大规模、超大规模的数据集，因可从中挖掘出有价值的信息而倍受关注，但传统方法无法进行有效分析和处理.《华尔街日报》将大数据时代、智能化生产和无线网络革命称为引领未来繁荣的大技术变革.“世界经济论坛”报告指出大数据为新财富，价值堪比石油.因此，目前世界各国纷纷将开发利用大数据作为夺取新一轮竞争制高点的重要举措.当前大数据分析者面临的主要问题有:数据日趋庞大，无论是入库和查询，都出现性能瓶颈;用户的应用和分析结果呈整合趋势，对实时性和响应时间要求越来越高;使用的模型越来越复杂，计算量指数级上升;传统技能和处理方法无法应对大数据挑战.正文：大数据概念大数

4、据定义维基百科对大数据的定义则简单明了:大数据是指利用常用软件工具捕获、管理和处理数据所耗时间超过可容忍时间的数据集。也就是说大数据是一个体量特别大，数据类别特别大的数据集，并且这样的数据集无法用传统数据库工具对其内容进行抓取、管理大数据来源1)来自人类活动:人们通过社会网络、互联网、健康、金融、经济、交通等活动过程所产生的各类数据，包括微博、病人医疗记录、文字、图形、视频等11信息.2)来自计算机:各类计算机信息系统产生的数据，以文件、数据库、多媒体等形式存在，也包括审计、日志等自动生成的信息.3)来自物理世界:各类数字设备、科学实验与观察所采集的数据.如摄像头

5、所不断产生的数字信号，医疗物联网不断产生的人的各项特征值，气象业务系统采集设备所收集的海量数据等传统数据库和大数据的比较现有数据处理技术大多采用数据库管理技术，从数据库到大数据，看似一个简单的技术升级，但仔细考察不难发现两者存在一些本质上区别。传统数据库时代的数据管理可以看作“池塘捕鱼”，而大数据时代数据管理类似“大海捕鱼”，“鱼”表示待处理的数据。“捕鱼”环境条件的变化导致“捕鱼”方式的根本性差异大数据技术大数据处理技术正在改变当前计算机的运行模式，正在改变着这个世界。它能处理几乎各种类型的海量数据，无论是微博、文章、电子邮件、文档、音频、视频，还是其他形态的数

6、据。它实时、高效、可视化呈现结果。它依托云计算将计算任务分布在大量计算机构成的廉价的资源池上，使用户能够按需获取计算资源、存储资源、网络资源和信息服务。云计算技术的应用使得大数据处理和利用成为可能。大数据作为信息金矿，对其采集、传输、处理和应用的相关技术就是大数据处理技术，是一系列使11用非传统的工具来对大量的结构化、半结构化和非结构化数据进行处理，从而获得分析和预测结果的一系列数据处理技术，或简称大数据技术大数据的存储与管理数据存储与大数据应用密切相关。大数据给存储系统带来3个方面挑战:1)存储规模大，通常达到PB甚至EB量级;2)存储管理复杂，需要兼顾结构化、

7、非结构化和半结构化的数据3)数据服务的种类和水平要求高大数据存储与管理，需要对上层应用提供高效的数据访问接口，存取PB甚至EB量级的数据，并且对数据处理的实时性、有效性提出更高要求，传统常规技术手段根本无法应付。某些实时性要求较高的应用，如状态监控，更适合采用流处理模式，直接在清洗和集成后的数据源上进行分析。而大多数其他应用需要存储，以支持后续更深度数据分析流程。根据为上层应用访问接口和功能侧重不同，存储和管理软件主要包括文件系统和数据库。大数据环境下，目前最适用的技术是分布式文件系统、分布式数大数据隐私与安全当前大数据的发展仍然面临着许多问题，安全和隐私问题是人

8、们公认的关