R软件应用-大数据分析

《R软件应用-大数据分析》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、第1章大数据的概述大数据时代，R被拉到了潮流尖端，作为免费的开源软件，随着加入的人数增多，R的计算引擎、性能、各种包都得到了改进和升级，其中R和和Hadoop实现了大规模数据的分布式处理分析，Rhive包将R语言与Hive链接，可以通过R快速访问存储在Hive的大数据集，这一切让R获得了重生。大数据早已到来，《大数据时代》的作者维克托•迈尔•舍恩伯格说，世界的本质就是数据，大数据将开始一次新的时代转型。其实早在1980年，美国著名未來学者托夫勒便在《第三次浪潮一书屮》提出“数据就是财富”，将大数

2、据热情地赞颂为“第三次浪潮的华美乐章S作为云计算领域的重要延伸，大数据正在引领信息革命进入新的吋代。2001年，全球最具权威的IT研究与顾问咨询公司Gartner提出大数据面临4个V的挑战；《自然》杂志（2008年）推岀《大数据》专刊，全方面介绍大数据问题；美国总统奥巴马（2012年）将数据定义为“未来的新石油二2013年，Gartner在一篇报告中指出，64%的受访企业都表示他们正在或是即将进行大数据工作。信息技术、计算机技术和互联网技术的迅速发展，使得人类社会各类数据呈现岀爆炸性增长，对这些

3、复杂的大数据的有效管理，现已成为当前社会的热点问题。1.1大数据的概念大数据（BigData），或称为巨量资料，指的是所涉及的资料量规模巨大到无法通过目前主流软件工具，在合理的时间内达到撷取、管理、处理并整理成为帮助企业经营决策冃的的资讯。大数据一般指在1OTB（1TB=1O24GB）规模以上的数据量，其基本特征可以用4个V来总结：数据规模大（Volume）、数据类别多（Variety）＞数据处理速度快（Velocity）、价值密度低（Value）。然而，“大数据叩勺概念远不止大量的数据（TB）

4、和处理大量数据的技术，或者所谓的“4个之类的简单概念，而是涵盖了人们在大规模数据的基础上可以做的事情，而这些事情在小规模数据的基础上是无法实现的。换句话说，大数据让我们以一种前所未有的方式，通过对海量数据进行分析，获得有巨大价值的产品和服务，或深刻的洞见，最终形成变革之力。1.2大数据的特征大数据具有一下4个基本特征：数据规模大、数据类别多、数据处理速度快、价值密度低。1.数据规模大大数据的基本属性是数据量巨大。目前，各个行业中的各个企业每天都会产生大量的数据，数据呈爆炸式的增长，数据量已从TB

5、级别跃升到PB级别，甚至到了EB数量级。而对海量数据，传统的数据库系统处理能力已经难以应发,而且数据量仍在大规模增长，产生的数据来源也变得更加多样化。1.数据类被多大数据除了传统的商业活动产生的数据外，还包括互联网上社交媒体产生的文本数据及吋刻产生的传感器数据等。数据类型除了结构化数据外，还有半结构化和非结构化数据，如图片、网页、视频等，数据种类繁多。2.数据处理速度快大数据和传统数据挖掘最显著的一个区别就是大数据要求处理速度快。面对如此大规模的数据，有效处理数据的效率也就牵系着企业的命运。对数

6、据的实时处理、分析及反馈变得十分重耍，创建实时数据已经成为一种趋势。3.价值密度低价值密度往往与数据量成反比，在大量数据中有用的信息可能是非常少的,而且要有效地获取这些这些哟用的信息也是比较困难的。比如，连续的监控产生人量的视频信息，而我们需要的数据可能就值又一两秒。针对人数据价值低这一特征，如何有效地挖掘出其中有用信息变得尤为重要。1.3大数据的产生大数据的产牛是计算机和网络通信技术被广泛应用的必然结果。互联网、移动互联网、物联网、云计算、社交网络等新一代信息技术的发展对大数据的产牛起到了促进

7、的作用。数据产生方式的变化表现为以下4个方面：（1）数据产生由企业内部向企业外部扩展。（2）数据产生由Web1.0向WeB2.0扩展。（3）数据产生由互联网向移动互联网扩展。（4）数据产生由计算机或互联网（IT）向物联网（IOT）扩展。这4个方面的变化让数据产生的源头呈几何数增长，数据量也呈现出大幅度地快速增加。1.4大数据应用案例大数据在各行业中有大量的应用案例，比如金融行业中的信贷分析、银行风险分析及公司的交易分析等，医疗行业中的流行病学研究、病房的实吋监控等,以及在亚马逊、淘宝网、Face

8、book等互联网企业中的应用等。下面给出一个典型的大数据应用案例■余额宝。余额宝的问世改变了天弘基金由原来国内排名下并且连年亏损的状态，使得他位居国内基金管理公司之首，世界排名14。该公司将天弘增利宝货币基金从零开始发展到用户数量的超过1亿元、资金规模达到5472亿元，超出了预计的10倍，称为世界第四大货币基金。余额宝产生的背景是天弘基金欲借助最大电商阿里平台，在支付宝上向用户推销基金。阿里负责余额宝在支付宝端的建设，天弘基金负责与支付宝对接的直销和清算系统的建设。面对大规模的数据量，余额宝Z前