大数据实时分析案例

《大数据实时分析案例》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、永洪科技大数据实时分析永洪科技基于自有技术研发的一款数据存储、数据处理的软件YonghongZ-DataMart是一款专业的数据集市软件。HadoopMapReduce适合通过批处理方式访问海量数据，但无法满足海量数据的实时处理的需求。实时商业智能建设的主要目标是支持实时决策，这就对海量数据处理的即时、快速、稳定提出了更高的要求。YonghongZ-SuiteMapReduce解决方案更好的实现了这些特点：完全放弃了心跳机制，采用实时信息交换底层，进行实时的Map-Reduce任务分配与执行。这一信息交换底层能够保障几十甚至上百个节点之间的高效信息交换，使得实时的Map-Reduce任务分配与

2、执行能够在毫秒级完成任务分解与派发工作。MapReduce任务服务于海量数据处理，任务清晰。通过在MapNode中预先部署Map的数据处理和数据分析功能的代码文件集，在Reduce节点中预先部署Reduce的数据处理和数据分析功能的代码文件集，在运行Job之前，每个Map和Reduce节点已经具备了相应的数据处理和分析能力。这种方式极大地减少了实时传输和部署的时长。直接在各节点之间传输中间结果和最终结果(StreamComputing)。由于Map-Reduce采用了具有自主知识产权的高效率的实时信息交换底层，这一底层保障了大量传输Map的中间结果、Reduce的中间结果及最终结果的实效性。本

3、文档主要介绍两个案例，一个是互联网行业大数据案例，一个是电信行业的大数据案例。互联网大数据案例案例背景某著名咨询公司用户行为分析系统面临问题：实时分析的数据量大，基于Hive的分析系统不够实时，但预算有限。问题解决步骤1.首先提出了测试方案：90天细节数据约50亿条导入YonghongDM，再定制Dashboard分析。2.简单测试：先通过5台PCServer，导入1-2天的数据，演示如何ETL，如何做简单应用。3.按照提出的测试方案开始导入90天的数据，在导入数据中解决了如下问题：解决步长问题，有效访问次数，在几个分组内，停留时间大于30分钟。解决HBase数据和SQLServer数据的关联

4、问题。解决分组太多，Span过多的问题。4.数据源及数据特征分析：90天的数据，Web数据7亿，App数据37亿，总估计在50亿。每个表有20多个字段，一半字符串类型，一半数值类型，一行数据估计2000Byte。每天5000万行，原始数据每天100G，100天是10T的数据。抽取样本数据100万行，导入数据集市，数据量在180M。50亿数据的若全部导入需要900G的量，压缩比在11:1。假设同时装载到内存中分析的量在1/3,那总共需要300G的内存。5.设计方案：总共配制需要300G的内存。硬件：5台PCServer，每台内存：64G，4CPU4Core。机器角色：一台Naming、Map，一

5、台Client、Reduce、Map，其余三台都是Map。6.ETL过程:历史数据集中导：每天的细节数据和SQLServer关联后，打上标签，再导入集市。增量数据自动导：先删除近3天的数，再导入近3天的数。维度数据被缓存；细节数据按照日期打上标签，跟缓存的维度数据关联后入集市；根据系统配置调优日期标签来删除数据；清洗出有意义的字段。7.系统配置调优：内部管理内存参数：mem.proc.count=8mem.serial.mem=5120mem.result.mem=10240JVM内存管理参数配置：JAVA_OPTS="-XX:NewRatio=3-XX:SurvivorRatio=1-XX:

6、+UseParNewGC-XX:+UseConcMarkSweepGC-XX:MaxGCPauseMillis=6000-XX:GCTimeRatio=19-XX:ParallelGCThreads=16-XX:+UseCMSCompactAtFullCollection-XX:CMSFullGCsBeforeCompaction=1-XX:CMSInitiatingOccupancyFraction=80-XX:+CMSClassUnloadingEnabled-XX:-CMSParallelRemarkEnabled-XX:SoftRefLRUPolicyMSPerMB=0-XX:+Pri

7、ntHeapAtGC-XX:+PrintGCDetails-Xms61440m-Xmx61440m-Djava.awt.headless=true"8.前端展现：互联网用户行为分析:浏览器分析：运行时间，有效时间，启动次数，覆盖人数，等等。主流网络电视：浏览总时长，有效流量时长，PV覆盖占有率，UV占有率，等等。主流电商网站：在线总时长，有效在线总时长，独立访问量，网站覆盖量，等等。主流财经网站：