CAD数据分析师:智慧交通大数据平台及应用

CAD数据分析师:智慧交通大数据平台及应用

ID:12501248

大小:16.18 MB

页数:30页

时间:2018-07-17

CAD数据分析师:智慧交通大数据平台及应用_第1页
CAD数据分析师:智慧交通大数据平台及应用_第2页
CAD数据分析师:智慧交通大数据平台及应用_第3页
CAD数据分析师:智慧交通大数据平台及应用_第4页
CAD数据分析师:智慧交通大数据平台及应用_第5页
资源描述:

《CAD数据分析师:智慧交通大数据平台及应用》由会员上传分享,免费在线阅读,更多相关内容在应用文档-天天文库

1、智慧交通大数据平台及应用ADD YOUR POWERPOINT TITLE HERE演讲人:曹正凤第四届中国数据分析师行业峰会CHINA DATA ANALYST SUMMIT北京 中国大饭店 2017.07个人简介曹正凤统计学博士北京大数据协会 理事经管之家(原人大经济论坛)大数据课程培训负责人首发集团智慧交通大数据中心筹备组负责人博士论文:随机森林算法优化研究出版专著:从零进阶!数据分析的统计基础EI核心论文:Parameter Settings of Genetic AlgorithmBased 

2、on Multi-Factor Analysis of Variance主持全国统计科学研究项目:基于大数据平台的我国宏观经济走势预测研究第四届中国数据分析师行业峰会CHINA DATA ANALYST SUMMIT从零进阶!数据分析的统计学基础2017/7/17第四届中国数据分析师行业峰会CHINA DATA ANALYST SUMMIT目 录123大数据团队概况及建设方案智慧交通大数据平台智慧交通大数据应用第四届中国数据分析师行业峰会CHINA DATA ANALYST SUMMIT大数据部的

3、组织架构2017BigData Department技术总监产品团队(3)开发团队(4)平台团队(4)数据团队(4)QA团队(2)第四届中国数据分析师行业峰会CHINA DATA ANALYST SUMMIT强大的技术架构团队共19人u 技术总监1人u 专业数据挖掘分析师4人u 大数据可视化工程师1人u 需求分析师3人u 总工程师1人u 高级软件工程师5人u 架构师1人u 业务经理1人u QA管理1人第四届中国数据分析师行业峰会CHINA DATA ANALYST SUMMIT2017Big

4、Data Departmentü 博士学历2人ü 研究生学历8人智慧交通大数据中心建设方案(1+N战略)第四届中国数据分析师行业峰会CHINA DATA ANALYST SUMMIT一期建设的内容第四届中国数据分析师行业峰会CHINA DATA ANALYST SUMMIT2智慧交通大数据平台智慧交通大数据平台建设的目的和意义人人都能进行大数据分析第四届中国数据分析师行业峰会CHINA DATA ANALYST SUMMIT大数据学习门槛高sparkmahoutJAVAJDBC第四届中国数据分析师行业

5、峰会CHINA DATA ANALYST SUMMIT开源大数据平台的开发难度高例如,黑屏命令行操作维护方式,增加了运维开发人员的工作难度、操作量,降低的工具的友好性。第四届中国数据分析师行业峰会CHINA DATA ANALYST SUMMIT开源大数据平台运维成本高大数据集群数量众多的服务器不便于整体的部署与管理。1. 资源监控2. 组件部署3. 资源分配4. 辅助工具…第四届中国数据分析师行业峰会CHINA DATA ANALYST SUMMIT2智慧交通大数据平台智慧交通大数据平台的功能特性第

6、四届中国数据分析师行业峰会CHINA DATA ANALYST SUMMIT功能特性——各种异构数据的全方位汇集我们的产品第四届中国数据分析师行业峰会CHINA DATA ANALYST SUMMIT功能特性--拖拽式、图形化大数据分析环境,降低门槛和使用难度第四届中国数据分析师行业峰会CHINA DATA ANALYST SUMMIT• 功能特性——便于维护自动部署• 操作系统、LDP平台自动化部署功能• 添加、批量移除,触发hadoop、hbase等服务的一系列处理服务器状态监控• CPU、内存、网

7、络、磁盘运行状态• 超过阀值报警第四届中国数据分析师行业峰会CHINA DATA ANALYST SUMMIT参数配置优化• 图形化界面操作,配置过程简单、易操作;• Hadoop基础组件(Hadoop-core、Hive、HBase)配置参数1000+;任务监控• 清晰的看到主机上运行了那些任务,任务的运行状态,是正常运行还是有故障• 各个任务运行的内存、CPU的使用情况• 功能特性——安全可靠安全授权细粒度访问控制基于角色的管理• LDP平台可以控制数据访问,并对已通过验证的用户提供数据访问特权

8、。• LDP平台支持细粒度的Hadoop数据和元数据访问控制;在服务器、数据库、表和视图范围提供了不同特权级别的访问控制,包括查找、插入等;允许管理员使用视图限制对行或列的访问,支持字段级别的访问控制;• LDP平台通过基于角色的授权简化了管理,可以将访问同一数据集的不同特权级别授予多个组。多租户管理• LDP平台允许为委派给不同管理员的不同数据集设置权限。认CHINA DATA ANALYST SUMMIT证机器级别的安全• 对可信任的

当前文档最多预览五页,下载文档查看全文

此文档下载收益归作者所有

当前文档最多预览五页,下载文档查看全文
温馨提示:
1. 部分包含数学公式或PPT动画的文件,查看预览时可能会显示错乱或异常,文件下载后无此问题,请放心下载。
2. 本文档由用户上传,版权归属用户,天天文库负责整理代发布。如果您对本文档版权有争议请及时联系客服。
3. 下载前请仔细阅读文档内容,确认文档内容符合您的需求后进行下载,若出现内容与标题不符可向本站投诉处理。
4. 下载文档时可能由于网络波动等原因无法下载或下载错误,付费完成后未能成功下载的用户请联系客服处理。