数据科学与大数据技术专业介绍

《数据科学与大数据技术专业介绍》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、数据科学与大数据技术专业介绍面向岗位群岗位职能要求核心技术课程大数据开发工程师①熟悉Linux/Unix系统，精通Java①大数据技术概论及Shell/Python/Scala等任意一种脚②Java程序设计本语言；③Linux操作系统②熟悉MySQL、NoSQL（Redis,④Hadoop生态系统及开Mongodb,HBase）、Oracle及有集群发数据库开发经验者优先；⑤Scala编程③熟悉Hadoop体系结构、对Hadoop⑥Python数据分析基生态系统有较全面了解；础......④熟悉MapReduce开

2、发模型，熟悉Spark，熟悉HBase、Hive、Flume、Sqoop；⑤熟悉Lucene、Solr、Elasticsearch等搜索引擎框架中的一种。大数据挖掘工程师①熟练运用Java/Python/R/C++等编①数据采集程语言；②数据库原理与设计②熟悉Oracle、MySQL或者其它关③云计算与虚拟化技术系型数据库；④Hadoop生态系统及开③熟悉数据分析与数据挖掘理论，发熟悉掌握和应用sql语句。熟练使用⑤Python数据分析基础R语言/SAS/SPSS至少一种数理统⑥大数据处理工具......计、数据分

3、析、数据挖掘工具软件；④熟悉分类，聚类，关联规则挖掘，协同过滤等常用机器学习和数据挖掘算；⑤熟悉爬虫，能运用相关开发语言完成爬虫任务。大数据分析工程师①有JAVA、R、Scala等软件开发经①Java程序设计验；②大数据技术概论②熟悉③Python数据分析基础Hadoop/MapReduce/Mahout/Storm；④Scala编程③熟悉机器学习原理与算法，能熟⑤Hadoop生态系统及开练运用分类、回归、排序等模型解发决有挑战性的问题；⑥机器学习......④熟练掌握概率分布，熟练掌握相关性、聚类、时间序列等常用

4、算法；⑤熟练应用Python/JAVA/C/C++一种或几种开发工具。大数据运维工程师①掌握目前主流Linux操作系统①数据库原理与设计（ubuntu/centos/redhat）的配置、管②大数据技术概论理及优化；③大数据处理工具②掌握Python/Shell/Java中至少1种④Python数据分析基础开发语言；⑤Linux操作系统③熟练掌握hadoop集群的部署、配⑥数据存储......置、维护；④熟悉ganglia/salt/puppet等监控和配置管理工具；⑤熟练使用shell,python等脚本语言开发

5、相关运维管理工具；⑥相关组件的安装配置与维护。数据科学与大数据技术课程设置基大数据数学基础大数据统计基础C程序设计数础据结构课数据库原理与设计计算机操作系统Linux操作系统职业素养···核大数据开发框架软件工程数据科学引论机器学习数据采集心Python数据分析大数据应用导论分布式理论Scala编课程···选大数据开发数据分析大数据应用修课Web技术概论文本数据分析金融大数据应用云计算与大数据平台网络数据分析交通大数据应用数字图像处理大数据分析算法健康医疗大数据Spark大数据处理···人工智能······