1、智慧交通大数据平台及应用ADD YOUR POWERPOINT TITLE HERE演讲人:曹正凤第四届中国数据分析师行业峰会CHINA DATA ANALYST SUMMIT北京 中国大饭店 2017.07个人简介曹正凤统计学博士北京大数据协会 理事经管之家(原人大经济论坛)大数据课程培训负责人首发集团智慧交通大数据中心筹备组负责人博士论文:随机森林算法优化研究出版专著:从零进阶!数据分析的统计基础EI核心论文:Parameter Settings of Genetic AlgorithmBased
2、on Multi-Factor Analysis of Variance主持全国统计科学研究项目:基于大数据平台的我国宏观经济走势预测研究第四届中国数据分析师行业峰会CHINA DATA ANALYST SUMMIT从零进阶!数据分析的统计学基础2017/7/17第四届中国数据分析师行业峰会CHINA DATA ANALYST SUMMIT目 录123大数据团队概况及建设方案智慧交通大数据平台智慧交通大数据应用第四届中国数据分析师行业峰会CHINA DATA ANALYST SUMMIT大数据部的
3、组织架构2017BigData Department技术总监产品团队(3)开发团队(4)平台团队(4)数据团队(4)QA团队(2)第四届中国数据分析师行业峰会CHINA DATA ANALYST SUMMIT强大的技术架构团队共19人u 技术总监1人u 专业数据挖掘分析师4人u 大数据可视化工程师1人u 需求分析师3人u 总工程师1人u 高级软件工程师5人u 架构师1人u 业务经理1人u QA管理1人第四届中国数据分析师行业峰会CHINA DATA ANALYST SUMMIT2017Big
4、Data Departmentü 博士学历2人ü 研究生学历8人智慧交通大数据中心建设方案(1+N战略)第四届中国数据分析师行业峰会CHINA DATA ANALYST SUMMIT一期建设的内容第四届中国数据分析师行业峰会CHINA DATA ANALYST SUMMIT2智慧交通大数据平台智慧交通大数据平台建设的目的和意义人人都能进行大数据分析第四届中国数据分析师行业峰会CHINA DATA ANALYST SUMMIT大数据学习门槛高sparkmahoutJAVAJDBC第四届中国数据分析师行业
5、峰会CHINA DATA ANALYST SUMMIT开源大数据平台的开发难度高例如,黑屏命令行操作维护方式,增加了运维开发人员的工作难度、操作量,降低的工具的友好性。第四届中国数据分析师行业峰会CHINA DATA ANALYST SUMMIT开源大数据平台运维成本高大数据集群数量众多的服务器不便于整体的部署与管理。1. 资源监控2. 组件部署3. 资源分配4. 辅助工具…第四届中国数据分析师行业峰会CHINA DATA ANALYST SUMMIT2智慧交通大数据平台智慧交通大数据平台的功能特性第
6、四届中国数据分析师行业峰会CHINA DATA ANALYST SUMMIT功能特性——各种异构数据的全方位汇集我们的产品第四届中国数据分析师行业峰会CHINA DATA ANALYST SUMMIT功能特性--拖拽式、图形化大数据分析环境,降低门槛和使用难度第四届中国数据分析师行业峰会CHINA DATA ANALYST SUMMIT• 功能特性——便于维护自动部署• 操作系统、LDP平台自动化部署功能• 添加、批量移除,触发hadoop、hbase等服务的一系列处理服务器状态监控• CPU、内存、网