英特尔Hadoop解决方案介绍.pdf

《英特尔Hadoop解决方案介绍.pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、英特尔Hadoop解决方案介绍英特尔亚太研发有限公司海量数据应用发展趋势22012/6/18海量数据的时代正在到来巨大的数据量•IDC预测全球的数据使用量到2020年会增长44倍，达到35.2ZB(1ZB=10亿TB)–宽带普及和提速(直接导致访问量、网络访问日志、通讯记录等迅猛增加)–社交网络(Facebook,Twitter,微博等)–视频(视频通讯、医疗影像、地理信息、监控录像等)–移动网络和各种智能终端–传感器、RFID阅读器、导航终端等非传统IT设备数据集特点•超过80%的数据是非结构化的•数据量在持续增加•数据需要长时间存

2、储，非热点数据也会被随机访问传统技术无法胜任大数据集的分析、管理和挖掘•传统关系数据库以及一些桌面BI分析软件处理的结构化数据在GB级别，无法从更大的数据集中发现有意义的信息。•需要处理的目标数据量一直在增长，传统技术无法适应这种扩展性32012/6/18什么应用适合大数据产品方案BigData支持PB级别数据支持非结构化数据支持结构化数据支持万级每秒查询支持高可靠性系统支持高效率统计分析大量的结构化和非结构化数据、要求可变的数据结构和高效的数据导入、查询、统计等*Source:McKinseyGlobalInstituteAnaly

3、sis4SGCrossAssetResearch,PwC英特尔Hadoop发行版介绍52012/6/18英特尔Hadoop发行版组成Intel’sDistributionofHadoopMonitoring&AlertsConfigurationManager(Ganglia&Nagios)(ClusterManager)DataMiningLanguage&Compiler(Mahout)(Hive,Pig)DistributedBatchProcessingFrameworkReal-timeDatabase(Map/Reduce

4、)(HBase)DistributedFileSystemCoordinationService(HDFS)(Zookeeper)LogDataCollectorStructuredDataCollector(Flume)(Sqoop)62012/6/18英特尔Hadoop发行版优势更高性能稳定运行•基于Hadoop底层的大量优化算法，使•全面测试的企业级发行版，保证长期稳应用效率更高、计算存储分布更均衡定运行•系统安装程序计算得出的参数配置，适•集成最新开源的和自行开发的补丁，用合大多数应用情况户可以及时修正漏洞•与硬件技术相结合，

5、提高平台性能•保证各个部件之间的一致性，使应用顺滑运行易于管理功能增强•提供独有的基于浏览器的集群安装和管•提供跨数据中心的HBase数据库虚拟大理界面，解决开源版本管理困难的问题表功能•提供网页、邮件方式的系统异常报警•实现HBase数据库复制和备份功能•其他针对企业用户需要的增强功能72012/6/18英特尔Hadoop发行版与开源版本功能比较英特尔Hadoop发行版增强功能开源系统原始实现针对HDFS数据节点的读写选取提供高级均衡算法，提高简单均衡算法，容易在慢速服务器或热点服务器上产生读系统扩展性，适合不同配置服务器组成的集群

6、写瓶颈，最慢服务器成为系统性能瓶颈根据读请求并发程度动态增加热点数据的复制倍数，提高无法自动扩充倍数功能，在集中读取时扩展性不强，存在Map/Reduce任务扩展性性能瓶颈为HDFS的NameNode提供双机热备方案，提高可靠性NameNode是系统的单点破损点，一旦失效系统将无法读写实现跨区域数据中心的HBase超级大表，用户应用可实无此功能，无法进行跨数据中心部署现位置透明的数据读写访问和全局汇总统计可将HBase表复制到异地集群，并提供单向、双向复制没有成熟的复制方案功能，实现异地容灾在HBase中，根据数据局部性、服务器Reg

7、ion数、表的只根据Region数量进行负载均衡，容易产生系统不均衡Region数来实现负载均衡，适合多用户共享集群创建多张大表的应用基于HBase的分布式聚合函数，比传统方式提高10倍以无成熟方案上效率实现对HBase的不同表或不同列族的复制份数精细控制无此功能HBase的MajorCompaction精细控制简单算法，容易产生合并风暴82012/6/18行业解决方案92012/6/18海量数据电信解决方案基于位置的服务顾客分析社交推荐网络优化趋势分析在线数据服务实时统计英特尔Hadoop发行版平台流式分析案例一：电信详单查询系统-

8、某运营商省公司业务问题•提供所有手机用户的详单在线查询系统•提供七大种类信息o套餐及固定费、通话、短/彩信、上网、增值业务、代收费用业务扣费、其他扣费•高峰时期提供千万并发用户在线查询请求已有方案•使用两台IBMP557