大数据开发应用及实践

《大数据开发应用及实践》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、大数据开发应用及实践1数据生态链逐渐形成，数据价值方能体现原油加工者交易市场核心组件制造商汽车装配分销商最终商品原始数据初级加工数据交易深度数据多方数据源数据的价值大数据价值实现三部曲数据采集`数据分析数据应用三大核心功能模块3大数据价值实现数据采集4什么样的数据才是有价值的数据第一手的数据海量的数据持续更新的数据5数据采集的来源有哪些•第一方数据–企业内部数据•第二方数据–企业合作伙伴、供应商提供的数据•第三方数据–百度、阿里、淘宝–电信运营商–深度垂直行业巨头6合作案例–某跨境电商服务商•合作伙伴：该品牌是江苏的一家港股上市公司，主营业务为跨境商品经销，目前拥有线下实体店10余

2、家，线上跨境电商APP。•服务内容：–数据采集•自有APP运营数据•线下实体店WIFI数据–数据应用：•通过线下WIFI采集到移动设备码，匹配自有APP采集的移动设备码，计算出到场用户中，哪些用户没有安装APP，针对到场但是未安装的用户进行定向推送，提高APP的下载和安装。•通过采集到线下WIFI采集到的人群和APP当前会员作为种子人群，在移动DSP线上放大做推广拉新服务，根据不同的渠道推广后，检测触达的用户，是否实际来到了线下门店。7大数据价值实现数据分析8数据清洗•数据清洗是整个数据分析过程中不可缺少的一个环节，其结果质量直接关系到模型效果和最终结论。在实际操作中，数据清洗通常

3、会占据分析过程的50%~80%的时间。•数据清洗的主要工作：–去除/补全有缺失的数据–去除/修改格式和内容错误的数据–去除/修改逻辑错误的数据–去除不需要的数据–关联性验证9案例介绍–深圳某公交WIFI数据清洗•数据采集检测时间范围为00:00-24:00。数据的时间范围为2016年3月21日至2016年3月27日，涵盖周一至周日，共7天。此外，数据总共涉及39个GPS设备，WIFI设备42个，共计有136462条GPS数据，3090023条上网设备数据。•数据清洗完成后，经常乘坐此次公交车的人群数量为21399人。10数据建模11案例介绍–某在线视频网站点播量预测建模•基于微瑞3

4、0余万影片资料库，监测电影的线上评论数据，影片票房数据，影片搜索数据等，结合在线视频网站内部播放数据，构建将要采购的新片的播放预测模型，为其采购新片提供参考。•2015年8月上线服务，已经预测影片100余部，准确率达82%12大数据价值实现数据应用13垂直行业应用–人群画像及定位人群结构分析消费能力分析行为轨迹分析第一方数据整合第三方数据人流分析&周边区域人群属性分析14合作案例–某开发商楼盘项目客户分析客群画像客群分布热力图15精准营销-DMP人物画像DMP服务器私有服务器APPonline数据存储数据匹配性别：男年龄：30CRMInternet工作：公司白领所在区域：上海年收入

5、：20-30w粉丝偏好：流行音乐、摇滚会员级别：黄金一级观看次数：7累计消费金额：2.3W数据交换6000+语义分析树50万+垂直行业词库关注明星：泰勒·斯威夫特、周杰伦标签：潜水党、摇滚粉、金白领基于Hadoop的分布式爬虫系统自主知识产权的R分析模型DMP16合作案例–某电影宣发•通过部署到电影院的WIFI采集到的第一方数据，类比同类型影片的线下观影人群，进行定向投放。–采集观影人群数据300余万条进行定向投放。–相比普通人群投放，CPC点击率提高了5倍。17大数据分析公司必备大数据公司需要具备哪些条件18数据处理技术综合能力大集群数据中心架构能力分布式，非结构化，虚拟化数据存

6、储搭建能力数据分析，算法，分析，推论能力最好能够拥有自己的专利技术和软中文语义知识库，句式及上下文分析能力件著作权。机器学习，各类算法实施能力专业分析知识库快速建立能力全网公开信息收集能力异构数据结构转化导入能力19广泛的数据体系3.重要渠道及数据合作伙伴4.企业内部自身数据分析1.通过智慧城市设备进行收集2.网络数据收集及合作20三个必备数据团队数据产定义行业数据产品品团队数据分数据清洗分析建模析团队数据技术团队海量实时处理技术21谢谢！