亚马逊AWS离线和在线数据实时分析解决方案和最佳实践

《亚马逊AWS离线和在线数据实时分析解决方案和最佳实践》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、AWS游戏分析工具最佳实践EMR&Kinesis邓明轩（DamonDeng）–解决方案架构师June26,2015

2、ShenZhen©2014Amazon.com,Inc.anditsaffiliates.Allrightsreserved.Maynotbecopied,modified,ordistributedinwholeorinpartwithouttheexpressconsentofAmazon.com,Inc.内容•游戏运营数据分析面对的挑战•离线数据分析•在线数据分析•AWS游戏数据分析参考架构我们需要分析什么数据？•游戏关键指标数据–玩家在

3、线数、活跃数(DAU/MAU)、新增数、付费用户、付费率、付费金额、ARPU、留存率、回访率•用户行为数据–显性数据：与服务器端发生交互的数据：级别，升级速度，战斗数据等–隐性数据：不与服务器端交互的客户端行为：手势热点，页面停留时间等数据分析方法•离线分析•在线分析•交互查询离线分析交互查询在线分析数据分析面对的挑战面对的问题：数据量数据源数据量•移动设备•一个事件记录~1KB•服务器•500M+事件每天•其它平台•500G+数据每天•JSON格式数据分析过程收集存储分析展现在线数据分析过程的挑战收存分展集储析现数据收集与存储数据收集：简单方式游戏数据库L

4、AMP游戏服务器分析数据库数据收集：改进架构游戏数据库游戏Sink服务器SinkFlumeCollectorsMPP数据仓库数据收集：托管架构KinesisProducerOr第三方插件：Flume-Kinesisplugin游戏数据库游戏KinesisConsumer服务器客户端可以直接将数据发往KinesisKinesis•大规模流式数据处理托管服务Kinesis数据流生产端消费端HTTPPostGet*APIsAWSSDKKinesisClientLibrary+ConnectorLibraryLOG4JApacheStormFlumeAmazonEl

5、asticFluentdMapReduceKinesis数据流处理App.1DataSources[Aggregate&De-Duplicate]AvailabilityAvailabilityAvailabilityZoneZoneZoneS3DataSourcesApp.2[MetricShard1DataExtraction]Shard2SourcesShardNDynamoDBApp.3AWSEndpoint[SlidingDataWindowSourcesAnalysis]RedshiftApp.4DataSources[MachineLearni

6、ng]EMR数据存储：S3游戏数据库HDFS群集？DSV游戏服务器KinesisS3ConsumerJSONS3离线分析数据分析：EMR游戏数据库S3DSV游戏服务器KinesisJSONConsumerS3AmazonElasticMapReduceElasticMapReduce•“云端的托管Hadoop群集”AmazonEMR工作机制选择Hadoop版本，节点数量，节点类型，自定义配置，Hive/Pig/Hbase将数据保存到AmazonS3EMRCluster通过控制台,CLI,SDK,或者S3API启动群集最终结果保存到AmazonS3同时可以保存

7、数据到可以轻松添加，减少节HDFS上点GettingStarted:http://docs.aws.amazon.com/gettingstarted/latest/emr/getting-started-emr-overview.htmlLong-RunningClustersScheduledJobsJobSharedAmazonEMRClusterJobJobEMR常规分析方法：MapReduce•自定义程序–JavaJar程序–HadoopStreaming•Java,Ruby,Perl,Python,PHP,R,orC++HadoopEMRHive

8、&PigHiveQLPigLatinSparkImpala:MPP架构Presto:MPP架构AmazonS3机器学习：ApacheMahoutMahout是用java写的可扩展的机器学习库:协同过滤(推荐系统)如副本推荐，道具推荐，基于用户偏好的比较聚类(无监督学习)如：根据玩家的行为特征将相类似的玩家分为一组分类(有监督学习，预测分析)–如：预测该玩家本月是否会退服Courtesy:http://mahout.apache.org数据仓库：Redshift游戏数据库S3AmazonDSVRedshift游戏服务器KinesisJSONConsum

9、erS3AmazonElasticMapReduce