big_data_processing.pdf

《big_data_processing.pdf》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、SolutionnameESC大数据处理平台业务现状和面临的问题我们总在说，世界正处在一个数据爆炸的时代。全球有1.2万亿GB的数据存在于浩瀚的数字海洋中；过去5年，数据中心对资源的需求增长了1倍；互联网连接的设备维持在每年42%的高速增长。根据IDC的统计，未来几年数字信息将呈现出惊人的增长，预计到2020年数字信息总量将增长44倍；同时，全球IT运维成本将逐年攀升，到2012年将接近2500亿美元。由此可见，我们日渐面临着越来越多的大数据挑战。人们能够访问丰富的信息，但不知道如何从中获得业务价值，因为这些信息以最原始的形式或半结构化或非

2、结构化格式存在，这导致他们不知道这些信息是否值得保留（甚至能否保留）。在科学研究领域，大数据处理无疑是其一项关键的业务应用需求。最有效的数据管理解决方案必将可以有效应对不断激增的数据，并将科研机构引导向更为广阔的发展空间。若要提升效率、增进成果、降低风险并提升研究优势，就必须随时掌握已经收集到的数据信息，并通过这些数据获得新的洞察。因此，新型分析应用程序需要一个大数据平台，用来建立、存取以及有效管理并交付可信赖的数据。IBM大数据战略IBM大数据的战略是：使分析离数据更近。由此，IBM构建了大数据平台体系，将为用户提供如下功能：集成并管理

3、不同种类、不同速率及不同流量的数据将高级分析应用于信息并且不改变信息的原本的格式将所有可用信息可视化，供即席分析使用为新型分析应用程序建立开发环境优化工作负载并安排进度安全和治理可用3个特征要素来定义大数据：数量、种类和速度（如下图所示），也就是V3。这些特征相结合，定义了我们在IBM所称的“大数据”。他们创造了一1/5SolutionnameESC种需求，那就是使用一类新功能来改善当今的做事方式，提供对我们现有的知识领域和驾驭其能力的更有效控制。数量：如今存储的数据数量正在急剧增长。有关数据量的对话已从TB级别转向PB级别，并且

4、不可避免地会转向ZB级，而所有这些数据都不能仅仅存储在传统的系统中。种类：要利用大数据，我们必须能够分析研究所有类型的数据，包括关系和非关系数据：文本、传感器数据、音频、视频、事务等。速度：有效处理大数据需要在数据变化的过程中对其数量和种类执行分析，而不只是在其静止后执行分析。因此，我们需要分析流数据和大量的持久数据。在传统处理中，主要考虑对相对静止的数据运行查询；使用流计算，人们可以执行一种类似于持续查询的流程，并将得到持续更新的结果，因为来自系统的信息在实时刷新。IBM大数据平台组成2/5SolutionnameESC平台组成功能/特征

5、描述对应产品Hadoop系统--利用企业功能增强开源HadoopIBMInfoSphere管理多种、大量BigInsights性能优化的数据开发工具企业集成分析加速器应用程序和行业加速器可视化安全流计算专为分析移动中的数据而构建IBMInfoSphereStreams多个并发的输入流大规模可扩展性处理和分析多种数据结构化内容、非结构化内容、视频、音频高级分析运营程序数据仓库工作负载优化的系统IBMNetezza3/5SolutionnameESC深度分析设备可配置的运营分析设备数据仓库软件加速器分析、运营

6、程序、规则集。行业和横向的应用程序加速器具有分析、模型、可视化/用户界面以及适配器等特性信息集成和治理将任何类型的数据集成到大数据平台，使用于结构化、非结构化数据以及流。治理大数据保护敏感数据的安全生命周期管理，以控制数据增长主数据，建立单一版本的真相用户界面实现大量和多种数据的可视化。开发人员：在工具和语言方面的相似性利用企业功能的成熟开源工具在环境之间集成管理员：协助进行系统管理的控制台分析应用程序专为分析应用程序的开发和集成BI/报告–CognosBI,Attivio而设计预测分析–SPSS,G2,SAS探索/可视化–B

7、igSheets,Datameer物联化分析–Brocade,IBMGBS内容分析–IBMContentAnalytics功能应用–Algorithmics,CognosConsumerInsights,Clickfox,i2,IBMGBS行业应用–TerraEchos,Cisco,IBMGBS4/5SolutionnameESC业务价值平台组成业务价值IBM的Hadoop系进行了优化，超越了开源Hadoop:工作负载优化统与企业系统集成:面向多个数据源的连接器加速器减少了实现时间：行业与应用程序加速器、分析加速器可视化工具让业务用

8、户能够探索大数据IBM流计算实时的答案=低延迟的洞察力：对时间敏感的应用程序（如欺诈检测、网络管理）获得更好的结果数据过大或存储成本昂贵时的解决方案：在数据进入视野时就进行分