戴尔Hadoop解决方案与大数据时代的服务器优化.pdf

《戴尔Hadoop解决方案与大数据时代的服务器优化.pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、戴尔Hadoop解决方案和针对大数据而优化的PowerEdge目录何为大数据戴尔：针对Hadoop/大数据推出的端到端企业解决方案戴尔针对大数据优化PowerEdge配置戴尔专业支持和服务客户案例为何要选择戴尔的Hadoop程序•Dell-InternalUse-Confidential何为大数据3•Dell-InternalUse-Confidential数据世界的变化日新月异每位成年人所4.3连接的设备数新数据类型所到2015年，构建现代信息85%占的比例管理系统的组织在财务业绩上将超出同行20%。10倍每五年的增幅Gartner发布的“21世纪的信息管理”社交媒体的使2

2、7%用比例4•Dell-InternalUse-Confidential人们正在以飞快的速度创建和使用数据…2320亿美元70%2470亿的数据由消费者创建。但其中80%的数每天发送的电子邮件数量达到据都由企业负责存储和管理。2470亿封。其中80%是垃圾邮截至2016年，投入在大数据上件。的资金将达到2320亿美元440万6000亿美元48小时每年因数据错误或数据质量低下而浪费每分钟就有长达48小时的全球将创造440万个IT工作机6000亿美元。视频上传到YouTube，这会来支持大数据。只有1/3能样每天的内容需要8年才能够聘用到员工。播放完毕。37.5%1.8ZB2亿3

3、7.5%的大型组织表示，2011年使用的业务数据达到1.8ZB，比每日上传到Facebook的照片数分析大数据是其最大的挑2010年增长了30%。量达到2亿张。这样算下来，每战。月将上传60亿张照片。5•Dell-InternalUse-Confidential…带来了新的问题为什么我们的产品更受青社交媒体活动将对产品发下一季度，季风是否会影少年的青睐？布带来什么影响？响我在印度尼西亚的销售以及我供应商的部件供应情况？高级分析社交网站和Web分析实时数据馈送如何捕获、分析和管理如何将这些数据转化为运如何建立联系？所有这些数据？营智能？6•Dell-InternalUse-Co

4、nfidential大数据在各行业中的需求电信零售金融服务制造医疗物联网智慧城市体量GB至TBTB至PB以上持续实时产生数据，速度数据量稳定，增长不快年增长率超过60％结构化，半结构化，多样性主要为结构化数据非结构化，多维数据预测分析，机器学习，价值统计和报表图形算法，统计建模7•Dell-InternalUse-Confidential出现以下情况时，应考虑采用大数据…采用现有的技术堆栈执行存在来自多个数据源并采数据分析不可行/不切实际用各种不同格式的相关数据数据流源源不断地产生，高昂的扩展成本令人望而但在捕获、存储和处理方却步面存在难题大量有用的存档数据存在需要分析的数据

5、占大多数，于磁带上（经过特定的时而不是仅占一小部分间后便不可恢复）8•Dell-InternalUse-Confidential大数据正显身手：移动用户QoS精简复制，节约更多•衡量、比较并了解哪些因素影响在任意时刻访问某一位置的人数•显著降低带宽与管理成本•运用分析来提升用户的服务质量•一键自动还原•只复制发生更改的数据块（无重复工作）•灾难恢复测试–无需停机•优化恢复成本；达到RPO/RTO要求9•Dell-InternalUse-Confidential大数据正显身手：IP电视用户建议引擎•收集用户的点击流和观看历史记录•从基于Web的影片数据库添加用户元数据•向用户提

6、供观看建议点击流EPGVoD•Dell-InternalUse-Confidential大数据正显身手：金融服务克服日益棘手且妨碍分析的数据量扩展（达到PB级）难题通过将作业转移到设计为处理多种数据类型的技术来提升运营效率使业务用户能够提出不同的问题来改进决策11•Dell-InternalUse-ConfidentialHadoop和大数据•Hadoop是一种高度可扩展的开源平台，适合整合式数据存储(HDFS)和处理(MapReduce)•为管理“大数据”数据集和数据量而设计Hadoop分布式文件系统MapReduce(HDFS)是什么使Hadoop与众不同？•整合一切—所

7、有数据都存放在同一位置并存储在同一文件系统(HDFS)中•擅长复杂分析—可跨多个节点大规模进行并行分析•经济实惠地进行扩展—安装在标准服务器上并开放源代码12•Dell-InternalUse-ConfidentialHadoop与传统数据库之对比传统数据库Hadoop“写时创建架构”“读时创建架构”•必须先创建架构，然后才能加载•数据直接复制到文件存储(HDFS)，任何数据无需进行转换•必须执行显式的加载操作才能将•将数据读取到HDFS中时，在此过数据转换成数据库内部结构程中会提取所取的列•必须先显式