CCTC2016-魅族莫涵宇-魅族大数据平台架构实践

《CCTC2016-魅族莫涵宇-魅族大数据平台架构实践》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、魅族大数据平台架构实践目录魅族大数据历程魅族大数据现状和规划魅族大数据挑战和愿景魅族的互联网转型ITintoDT信息时代向数据时代前进产品驱动、全员创新、引入资本、股份改制老板驱动业务公司主业：智能手机丨Flyme互联网运营丨智能家居丨电商公司主业：MP3丨线下实体渠道未来互联网业务：互联网业务：BBS丨官网官网丨BBS丨官网丨电商丨游戏中心丨应用中心丨多媒体丨互联网文化：无O2O丨服务开放平台丨开发生态圈2014Before丨丨互联网文化：互联网产品快速迭代丨至今2008周固、互联网服务日更新丨移动互联网20122009

2、产品驱动丨丨老板驱动、设计驱动20132011公司主业：智能手机公司主业：智能手机互联网业务：BBS丨官网丨电商丨flyme云服务互联网业务：BBS丨官网丨电商丨flyme云服务丨Flyme互联网产品互联网文化：互联网产品支撑、互联网产品固件互联网文化：主功能固件迭代、互联网产品迭代魅族大数据的业务基础应用商店应用超过100万款；总下载量超过100亿；营收能力同比增长12倍。目录魅族大数据的背景魅族大数据现状和规划魅族大数据挑战和愿景魅族大数据的历程人员变化数据PDBI47人算法22人ETL平台研发运维9人兼职3人2013

3、.122014.92015.62016.5魅族大数据的历程数据规模P级500台6.0P(设备)；数据日新增20T；日行为记录100亿+月活日行为记录67台890T；数据日新增10Tspark/hbase上线；月活1200W+；日新增日行为记录26亿+；17台140T；数据日新增35GT级3台6T2013.122014.92015.62016.5魅族大数据的历程业务支持标签日任务4000+；推荐标签400+；接入安全、客服数据；广告推荐平台上线；各项推荐更新迭代Bigdata高层月报业务50+；日任务800+；BI迁至big

4、data；UXIP引入新的报表引擎；uxip业务20+；提供高层月报；调度任务100+；报表引擎；dw1.0上线JSPuba接入业务3个，JSP方式报表2013.122014.92015.62016.5我们曾踩过的坑业务层架构层迁就业务的不规范统计平台架构多次迁移只跟需求，数据口径未统一多个统计分析界面数据质量不可靠没有数据portal，使用杂乱sdk埋点规范的缺失可视化开发使用不便需求管理杂乱，开发疲于奔命没有足够的功能抽象成长的烦恼团队成员配比不合被信任度差，需要从0开始理（分析师很晚才一步步证实自己到位）业务团队对数

5、据的顶住多方压力的情时间紧、资源少认识度不够，推动况下控制需求节奏业务的阻力很大一方面希望覆盖更需求比较多，经验压力大，会和其他多业务，另一方面不足，大步快跑=公司的数据产品做又担心被业务需求悬崖边跑对比（如友盟等）所压垮有时候在需求的海疲于应付需求而在洋中抓不住重点招聘上投入不够目录魅族大数据的背景魅族大数据历程魅族大数据挑战和愿景魅族大数据现状p集群：数据各业务近500台主机p数据总量：总数据超过2PBp数据增量：每天数据处理超过20Tp调度任务：每日运行4000个调度任务魅族DW1.0DataSourceODSEDW

6、DM日志数统一视业务报网站据图表日志多维模分析应ERPERP数据型用APP消消息数用户宽数据产·息·据·表·品········魅族大数据整体架构数据开发门户WebIDE任务编排管理报表门户用户画像多维自助分析系统数据质量管理数据接入平台元数据…推荐平台全网分析数据服务平台…数据开发平台数据产品门户GeneralScheduler推统挖…荐计掘Logs/HiveSparkRawFiles数据模型AnyLoaderMRRDDOLAP/R算法库/MLlib/Mahout…PGxc/DDBVirticaBHDFS/TachyonU

7、serProfileMessagesYARNAnySparkStreaming/StreamStromKV/NoSQLKVStorageStateCenterMulti-LayerMonitoring/AlarmingService数据源层接入层数据仓库层数据应用层(Agents)DW2.0的建设思路深耕细作，提升数据产品用户体FOUR验和数据分析的支撑深入业务，构建适合解决业务THREE痛点的数据产品HOWTOTWO提供符合各种角色特征的个性化数据产品ONE梳理角色，流程并对现有数据产品进行部分优化和整合数据产品全景图运

8、营类数据产品用户后付费服推荐平台用户画像系统搜索服务……务平台业务型应用类数据产品数据产品运营主题分析数据集成开发数据驾驶舱自助分析平台……平台平台服务类数据产品数据可视化服数据多维分析指标监控服务算法挖掘服务元数据服务务服务数据权限控制数据质量监控平台型数据同步服务数据开放平台……服务平台数据产品基础