大数据与数据挖掘实验系统.ppt

《大数据与数据挖掘实验系统.ppt》由会员上传分享，免费在线阅读，更多相关内容在PPT专区-天天文库。

1、大数据与数据挖掘实验系统北京红亚华宇科技有限公司大数据的特点大数据首先是数据量大，典型的大数据系统所管理的数据可达PB级其次大数据的来源复杂，数据质量差异较大最后大数据的数据关系复杂，难以用传统的关系型数据库描述大数据分析的基石大数据实验系统所支撑的学科与课程大数据与数据挖掘实验类别大数据实验系统整体框架大数据与数据挖掘实验基础软件数据挖掘基础语言环境——R语言最为流行的开源统计与数据挖掘软件可跨平台运行，高效的脚本语言为数据分析和显示提供的强大图形功能丰富的高质量的开源第三方算法软件包大数据分析环境——Hadoop开源大数据分析的事实标准大量的互联网公司作为实际生产平台

2、方便的Java开发环境不断演进的良好生态环境大数据与数据挖掘实验基础软件最流行的商用数据统计分析软件——SAS功能强大，统计方法齐全使用简便，操作灵活简单而强大的通用数据分析软件——Excel数据统计分析利用VBA进行数据挖掘分析通用开发语言——Java数据爬取自然语言处理大数据实验平台网络拓扑服务器端R计算服务Hadoop集群虚拟化实验台学生端远程连接开发环境测试环境大数据实验系统实验内容（1）数据挖掘展示性实验用于展示常用数据挖掘算法的作用，使用者通过实验系统所提供数据集，直观理解数据挖掘算法的输出结果实验类型实验名称统计与建模方法演示实验统计推断基础统计分布假设检验

3、基本线性回归多变量线性回归广义线性模型实验类型实验名称数据挖掘方法演示实验数据可视化聚类数据降维分类基础决策树分类方法高级分类方法关联分析大数据实验系统实验内容（2）数据挖掘R语言开发实验利用实验系统提供的R语言环境，学习基本的R语言开发方法，并针对提供的数据集开发数据挖掘算法实验类型实验名称R语言编程基础R语言基础R语言控制语句R语言数据类型R语言常用函数R语言程序调试实验类型实验名称R语言统计与建模R语言统计推断基础R语言统计分布R语言假设检验R语言基本线性回归R语言多变量线性回归R语言广义线性模型实验类型实验名称R语言数据分析综合应用R语言建立信用评分模型R语言预测

4、股票市场收益R语言预测经济指标R语言侦测欺诈交易R语言微阵列样本分类大数据实验系统实验内容（3）数据挖掘SAS开发实验利用实验系统提供的SAS环境，学习基本的SAS开发方法，并针对提供的数据集开发数据挖掘算法实验类型实验名称SAS基础编程实验SAS基础SAS控制语句SAS数据类型SAS常用函数SAS程序调试实验类型实验名称SAS统计与建模SAS统计推断基础SAS统计分布SAS假设检验SAS线性回归SAS多变量线性回归SAS广义线性模型实验类型实验名称SAS数据挖掘算法SAS数据可视化SAS聚类SAS数据降维SAS分类基础SAS决策树分类方法SAS高级分类方法SAS关联分析

5、实验类型实验名称SAS数据分析综合应用SAS建立信用评分模型SAS预测股票市场收益SAS预测经济指标SAS侦测欺诈交易SAS微阵列样本分类大数据实验系统实验内容（4）基于Hadoop的大数据基础实验利用实验所提供的环境，学习基本的MapReduce算法，利用提供大数据在Hadoop实现大数据实战分析实验类型实验名称大数据基础实验Hadoop环境的搭建实验基础MapReduce开发实验迭代式MapReduce程序和计数器实验分区、排序和合并算法实验Hive的使用实验类型实验名称大数据实战实验超市零售数据分析实验NetFlix电影数据分析实验新浪微博消息分析实验带有情感标签的

6、微博数据分析实验网络安全日志分析实验出租车GPS位置分析实验社交资源共享站点用户行为分析实验大数据实验系统实验内容（5）与大数据相关的其他实验实现大数据分析中常用的Excel数据分析、数据爬取、自然语言处理、数据库使用等实验实验类型实验名称Excel数据处理与分析Excel基本操作Excel数据可视化Excel函数与公式Excel透视表Excel数据分析VBA程序基础VBA控制语句VBA常用函数VBA综合应用实验类型实验名称MySQL数据库操作MySQL配置SQL中的DDL语句SQL中的DML语句SQL中的DCL语句MySQL常用函数MySQL存储过程和自定义函数实验类型

7、实验名称JAVA数据爬取抓取网页处理HTML页面非HTML正文抽取设计爬虫队列并行爬虫实验类型实验名称JAVA自然语言处理字符串编码正则表达式自动分词句法分析语义分析实验平台管理方式B/S架构的管理体系，系统分为管理员、教师与学生三种角色管理员管理实验内容以及教师用户注册，教师管理实验开放、实验流程以及学生打分学生用户完成实验内容，提交实验报告虚实结合的实验平台以云计算的方式提供实验开发环境以学生端虚拟化的方式提供本地Hadoop环境以后台服务方式提供R语言自动运行服务以Shell方式提供支持大数据的Hadoop运行环境自动化