大数据的基本概念和简介

《大数据的基本概念和简介》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、大数据简介和应用l大数据简介：大数据是规模非常巨大和复杂的数据集，传统数据库管理工具处理起来面临很多问题，比如说获取、存储、检索、共享、分析和可视化，数据量达到PB、EB或ZB的级别。大数据有三个V，一是数据量（Volume），数据量是持续快速增加的；二是高速度（Velocity）的数据I/0；三是多样化（Variety）数据类型和来源。随着云时代的来临，大数据（Bigdata）也吸引了越来越多的关注。支撑大数据以及云计算的底层原则是一样的，即规模化、自动化、资源配置、自愈性。l大数据的处理流程数据采集——数

2、据统计分析——数据挖掘1.数据采集：利用多种轻型数据库来接收发自客户端的数据，并且用户可以通过这些数据库来进行简单的查询和处理工作，具有并发性高的特点。经常使用的产品有：MySQL，Oracle，HBase，Redis和MongoDB等，并且这些产品的特点各不相同2.统计分析：将海量的来自前端的数据快速导入到一个集中的大型分布式数据库或者分布式存储集群，利用分布式技术来对存储于其内的集中的海量数据进行普通的查询和分类汇总等，以此满足大多数常见的分析需求。会面临：导入数据量大，查询涉及的数据量大，查询请求多的挑

3、战。3.数据挖掘：基于前面的查询数据进行数据挖掘，来满足高级别的数据分析需求，这一步面临算法复杂，并且计算涉及的数据量和计算量都大的难题。一般使用R/SAS等统计软件。l大数据在各个领域的应用咨询业：IBM对50000名咨询顾问的档案建立了数学模型，从而计算机可以对不同的项目自动挑选出最合适的团队。广告业：硅谷的最优边界公司对网上广告提供了优化服务，对每一条网上广告都可以计算出反应率和投资收益率市场营销业：UMBRIA公司通过数值计算选择博客网站上应该跳出来的广告产品，通过向量数学，可以确认汉堡王的广告的确对

4、年轻人的目标客户最有效媒体业：纽约的INFORM公司运用几何学原理将文章根据单词和词组进行转换，存入虚拟图书馆，然后根据读者档案挑选出最适合读者阅读的文章提供给读者社交网络：社交网络产生了海量用户以及实时和完整的数据，同时社交网络也记录了用户群体的情绪，通过深入挖掘这些数据来了解用户，然后将这些分析后的数据信息推给需要的品牌商家或是微博营销公司。lIBM的大数据战略基于“3A5步”动态路线图，IBM提出了“大数据平台”架构。该平台的四大核心能力包括Hadoop系统、流计算（StreamComputing）、数

5、据仓库（DataWarehouse）和信息整合与治理（InformationIntegrationandGovernance）。如下图所示。l多重挑战及我们的应对首先，如何将数据信息与产品和人相结合，达到产品或服务优化是大数据商业模式延展上的挑战之一。张夏天认为，大数据对算法和计算平台的挑战加大，计算开销大增。总量上升，质量下降，这是大数据带来的重大挑战。其次，数据大爆炸下，怎样挖掘这些数据，也面临着技术与商业的双重挑战。大数据时代，很大程度上将通过数学建模来实现数据的采集分析和挖掘，我们将发挥数学建模的专业

6、特长，培养数据分析能力和团队协作能力，了解不同数据的背景知识，应对挑战和机遇。