大数据时代分析PPT概要课件.ppt

《大数据时代分析PPT概要课件.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、大数据时代之职位分析Yolanda何为大数据？A职位，你在哪里？B具体职位分析CContents目录何为大数据？定义、特点、模式、应用领域电影——少数派报告（minorityreport）定义大数据(Bigdata)，或称巨量资料，指的是需要新处理模式才能具有更强的决策力、洞察力和流程优化能力的海量、高增长率和多样化的信息资产。云计算：云计算是一种商业计算模型。它将计算任务分布在大量计算机构成的资源池上，使各种应用系统能够根据需要获取计算力、存储空间和信息服务，本质上是一种数据处理技术。Hadoop（分布式文件系统）：实现云计算

2、的技术支撑；“数据，已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素。人们对于海量数据的挖掘和运用，预示着新一波生产率增长和消费者盈余浪潮的到来。”——麦肯锡在大数据时代已经到来的时候要用大数据思维去发掘大数据的潜在价值。编者话：大数据是一种预测，先知。非结构化数据的超大规模和增长；大数据的起始计量单位至少是P（1000个T）、E（100万个T）或Z（10亿个T）；量Volume大数据的异构和多样性；数据类型繁多。比如，网络日志、视频、图片、地理位置信息等等。多样Variety大量的不相关信息；对未来趋势与模式的可预测

3、分析；深度复杂分析（机器学习、人工智能Vs传统商务智能(咨询、报告等）。价值Value实时分析；处理速度快。1S是临界点。速Velocity天下武功无坚不摧，无快不破；速度是和传统的数据挖掘技术有着本质的不同。特点大量的不相关信息；对未来趋势与模式的可预测分析；深度复杂分析（机器学习、人工智能Vs传统商务智能(咨询、报告等）。价值Value实时分析；处理速度快。1S是临界点。速Velocity大数据目前的三种模式从大数据的价值链条来分析，存在三种模式：1-手握大数据，但是没有利用好；比较典型的是金融机构，电信行业，政府机构等。2

4、-没有数据，但是知道如何帮助有数据的人利用它；比较典型的是IT咨询和服务企业，比如，埃森哲，IBM，Oracle等。3-既有数据，又有大数据思维；比较典型的是Google，Amazon，阿里、腾讯等。大数据使用的领域互联网大数据的典型代表性包括：1-用户行为数据（精准广告投放、内容推荐、行为习惯和喜好分析、产品优化等）亚马逊、SMG、淘宝2-用户消费数据（精准营销、信用记录分析、活动促销、理财等）信用卡中心、蚂蚁金服3-用户地理位置数据（O2O推广，商家推荐，交友推荐等）谷歌地图、大众点评、美团等APP的自动定位系统4-互联网金

5、融数据（P2P，小额贷款，支付，信用，供应链金融等）支付宝、陆金所5-用户社交等UGC数据（趋势分析、流行元素分析、受欢迎程度分析、舆论监控分析、社会问题分析等）fackbook、新浪职位，你在哪里？RSITAMET源数据层分析层数据存储层：负责数据信息的存储、访问及其优化展现层访问应用层数据研发工程数据工程师ELT工程师和ETL工程师商业智能数据挖掘数据分析师职位分析职位分析_技术类数据研发工程/数据工程师/ELT工程师一句话概括：主要通过程序操作数据把数据写入到数据仓库大数据应用的技术Hadoop用到的一些技术有：HDFS:

6、Hadoop分布式文件系统(DistributedFileSystem)－HDFS（路径和目录）MapReduce：并行计算框架（数据处理）HBase:类似GoogleBigTable的分布式NoSQL列数据库。（数据库）Hive：数据仓库工具，由Facebook贡献。其他……Hadoop分布式文件系统(DistributedFileSystem)－HDFS(HadoopDistributedFileSystem)(文件系统，数据存储技术相关，路径和目录简历Hadoop搜寻关键词：Hadoop、Hbase、Hive、MapRed

7、uce。薪资范围（互联网公司）：2年：15W/Y-18W/Y；3年：18W/Y-22W/Y；传统行业：通信/软性/金融行业稍微低于以上的薪资水平。数据分析/挖掘师（客户与商业智能分析）岗位要求：1)客户价值分析：通过对客户信息，涵盖行为和资产信息（包括银行、保险、交易、积分等数据）的分析，支持战略及运营决策，并且指导客户迁徙；2)网站数据分析：进行公司网站的数据分析与监控策划，进行数据监测、分析、统计和设计，包括但不限于（网站的UV、PV、访问深度、跳失率、转化率、网站产品、用户行为）为产品、运营及市场推广的优化提供数据支持；能

8、依据网站用户行为数据推测客户潜在需求，提高目标转换率；3)数学建模：在SAS的环境中，建立线性回归模型（LinearRegression），逻辑回归模型（Logisticregression），时间序列模型（TimeSeries）和生存模型(SurvivalMo