信息管理专业建立大数据实验平台的思考

《信息管理专业建立大数据实验平台的思考》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、信息管理专业建立大数据实验平台的思考随着大数据、商务智能技术的快速发展与广泛应用，作为综合型应用型人才的信息管理专业的本科生必须在掌握理论知识的前提下了解和熟悉大数据存储、处理、分析与可视化的实践操作，这就对建立大数据实验平台提出了要求。本文探讨大数据实验平台建立的必要性与可行性，并通过大数据系统的调研情况，给出大数据实验平台建立的初步构想。一、引言随着大数据应用范围的扩大，相应的人才需求也存在很大缺口，此时在信息管理学院建立大数据开发实验室，包括云存储平台建设、基于云存储平台的教育资源建设、大数据开发平台建设、大数据分析工具与资源建设，能应用云存储技术实现

2、教育资源的有效应用;能促进学生了解大数据开发的Hadoops环境，以及该环境下的平台建设;并能在该平台下进行大数据分析实践。本校信息管理学院包括信息管理与信息系统、电子商务、信息安全等专业，在此实验平台上，根据不同的教学目标开发针对不同专业的学生的开放性实验课程尤为重要。二、必要性与可行性当前“大数据技术”充满了新的机遇和挑战，其在企业IT基础架构、数据管理、分析和服务这些关键规划领域的应用，将会对社会经济发展带来长远深刻的影响。大数据指的是从各种各样的数据中快速获得有价值信息的能力，具有数据量大、种类繁多、价值稀疏、处理速度快的特征，这些特征对目前社会各个

3、行业的信息架构、系统的冲击非常大。大数据技术对整个社会经济发展来说既是机遇也是挑战。(一)必要性根据IDC在2011年6月发布的《数字宇宙》(DigitalUniverse)研究报告，2011年全球新建和复制的信息量超过1.9ZB(1.8万亿GB)，五年时间增加了近九倍。随着数据量的指数级增长、数据源种类(包括结构化数据源和非结构化数据源，如社交媒体、富媒体文件以及地理空间信息)的飞速增加，以及数据产生速度的加快(如实时传感器数据)，传统的数据库和架构无法处理、管理和分析如此庞大的数据集。政府、金融、电信、互联X等大数据应用的行业先锋目前均面临大数据的问题。

4、不仅如此，随着物联X、云计算、移动互联X、车联X、智能、平板电脑的飞速发展，大数据技术拥有了更为广泛的数据资源。因此，IT产业界及行业用户都亟需针对大数据设计和优化大数据存储、管理和查询平台，来替代传统关系型数据库平台。在技术发展的前沿阶段进行实验平台建设对我学院师生具有重要意义。该实验平台能够为学生提供一个了解最前沿技术的机会，不仅能够提高学生学习兴趣、自学能力，还为学生就业、更好地规划未来的职业发展提供了机会。大数据技术的机遇与挑战带来了很大的人才缺口，目前大数据技术平台开发、方案实施人才紧缺;由于云存储、大数据技术带来的信息安全问题，也亟需大量信息安全

5、领域的人才;由于大数据技术在物联X、电子商务、移动互联方面的应用，对了解大数据技术的电子商务专业人才也更青睐。通过本实验平台的培养，感兴趣的优秀学生还可以尝试考取与大数据技术密切相关的Hadoop专业认证——ClouderaCertifiedDeveloper/AdministratorforApacheHadoop，为学校、学院在该领域带来正面影响，增加更多合作和就业的机会。该实验平台能够为信息系统专业试点班培养计划的很多核心课程(包括管理统计学中的业务报表与分析、商务智能方法与应用、商务智能实践、数据挖掘和BA综合实训等)形成较好的前后衔接关系，能够丰富

6、实践教学环节，深化教学大纲的内容，从建设更合理的课程建设体系来说具有很大的必要性。近几年学生就业压力越来越大，迫切需要对教学内容和实践环节不断突破创新，才能具备持续发展能力。因此在原有课程体系和实践教学环境的基础上增设本实验平台非常必要。(二)可行性教学计划中的相关程序设计课程为学生学习云存储技术、熟悉大数据开发平台、了解最新大数据技术的发展、进行大数据平台基础上的开发、实现对大数据的分析、可视化演示打好了基础。英特尔ApacheHadoop平台是目前大多数大数据处理的技术基础，目前该技术已经发展成熟，并随之产生很多基于该平台的大数据处理工具，可供实验室建设

7、实验平台使用。三、建立大数据实验平台的基本构想(一)实验平台人员实验平台人员负责实验平台的建设、维护，实验设计与指导人员由在大数据相关领域、课程建设以及实践教学方面都有着丰富的经验的教师与实验室工作人员构成，同时与大数据企业进行合作，获得其核心技术人员的支持、培训和大力配合，可以共同组成一个经验丰富、精炼实干的建设团队。(二)软件调研大数据的特点为4个“V”：第一，“Volume”，指的数据量大，包括大的数据块，或数据总量巨大，从TB跃升到PB;第二，“Variety”，指的是数据种类繁多，包含大量非结构化数据，例如X络日志、音频、视频、地理信息等;第三，“

8、Value”，价值稀疏性，大量数据中有价值数据很少;