大数据技术交流37.ppt

《大数据技术交流37.ppt》由会员上传分享，免费在线阅读，更多相关内容在应用文档-天天文库。

1、大数据平台技术交流–资深技术顾问2从各种各样类型的巨大数据中，快速获得有价值信息的能力，就是大数据技术什么是大数据Variety:管理复杂的多角度关系和非关系类型的数据（你是否忽略利用的非结构化数据进行决策吗）Velocity:流数据或者大量数据的移动（你是否希望通过实时操作提供更好的结果）Volume:数据量从TB级到ZB级（你是否收集了所有数据，并在使用它吗）Veracity：1/3的领导在做业务决策时候不相信获得的信息大数据参考架构超越传统的数据仓库概念流计算Internet级别传统数据仓库In-MotionAnalyticsD

2、ataAnalytics,DataOperations&ModelBuildingResultsInternetScaleDatabase&WarehouseAt-RestDataAnalyticsResultsUltraLowLatencyResultsInfoSphereBigInsights传统/关系型数据源非传统/非关系型数据源传统/关系型数据源非传统/非关系型数据源Cloud

3、Mobile

4、SecurityIBM大数据平台和应用框架通过可视化的方法采集、抽取、以及探查数据应用加速器，加速应用开发，快速实现分析价值BI/Rep

5、ortingBI/ReportingExploration/VisualizationFunctionalAppIndustryAppPredictiveAnalyticsContentAnalyticsAnalyticApplications（分析应用）IBMBigDataPlatform（大数据平台）SystemsManagementApplications&DevelopmentVisualization&Discovery分析流数据，以及在大数据的是谁数据洞察数据管控（数据质量、生命周期、……）低成本地分析PB级结构化和

6、非结构化数据操作型数据或者历史数据的，基于数据仓库内嵌分析Accelerators（加速器）InformationIntegration&Governance信息整合和管控HadoopSystemStreamComputingDataWarehouseContextualDiscovery索引和联邦的上下文相关分析议程IBMhadoop平台－BigInsightsIBM流计算－StreamsIBM数据仓库平台－pureData基于大数据平台的数据分析-DataExplorerIBM大数据优势汇总ForresterWave关于大数据的

7、报告6BigInsights企业版连接和集成StreamsNetezzaTextprocessingengineandlibraryJDBCFlume基础架构JaqlHivePigHBaseMapReduceHDFSZooKeeperIndexingLuceneAdaptiveMapReduceOozieTextcompressionEnhancedsecurityFlexiblescheduler可选IBM产品分析和探查应用DB2BigSheetsWebCrawlerDistribfilecopyDBexportBoardreade

8、rDBimportAdhocqueryMachinelearningDataprocessing...管理和开发工具管理控制台Monitorclusterhealth,jobs,etc.Add/removenodesStart/stopservicesInspectjobstatusInspectworkflowstatusDeployapplicationsLaunchapps/jobsWorkwithdistribfilesystemWorkwithspreadsheetinterfaceSupportREST-basedAPI.

9、..REclipse开发工具TextanalyticsMapReduceprogrammingJaql,Hive,PigdevelopmentBigSheetsplug-indevelopmentOozieworkflowgenerationIntegratedinstallerOpenSourceIBMIBMCognosBIBigSQLAcceleratorformachinedataanalysisAcceleratorforsocialdataanalysisGuardiumDataStageDataExplorerSqoopH

10、CatalogGPFS–FPOBigInsights优势列表HighPerformance&AvailabilityGPFS-FPOAtleast2XfasterthanopensourceHadoop17xthroug