教育大数据的平台构建与关键实现技术

《教育大数据的平台构建与关键实现技术》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、Vol.28No.12018*教育大数据的平台构建与关键实现技术11,2113李振周东岱刘娜董晓晓钟绍春（1．东北师范大学信息科学与技术学院，吉林长春130117；2．吉林省“互联网+”教育科技创新中心，吉林长春130117；3．教育部数字化学习支撑技术工程研究中心，吉林长春130117）摘要：大数据现已成为驱动教育变革与创新的强劲力量，而平台建设是教育大数据落地的关键之所在，它覆盖了从数据采集、存储计算、分析挖掘到具体应用的整个生命周期。文章首先从广义的角度，对教育大数据的内涵进行了再认识。随后，文章基于教育大数据平台的

2、需求分析，设计了教育大数据平台的架构。最后，文章从学习行为大数据采集、教育大数据存储与计算以及教育大数据分析挖掘三个方面，对平台的关键实现技术进行了研究。文章的研究可为教育大数据的理论研究与实践应用打下平台基础。关键词：教育大数据；数据采集；存储与计算；分析挖掘【中图分类号】G40-057【文献标识码】A【论文编号】1009—8097（2018）01—0100—07【DOI】10.3969/j.issn.1009-8097.2018.01.015[1]2012年，美国教育部提出以大数据为支撑、通过教育数据挖掘和学习分析来促

3、进教学变革的理念。2015年，我国开始战略部署教育大数据，中国教育大数据研究院、教育大数据应用技术国家工程实验室等研究机构相继成立，各地教育信息化发展规划也纷纷将大数据列为“十三五”期间大力发展的重要内容，大数据已经成为推动教育变革的新动力。近年来，网络学习空间、电子书包、翻转课堂、MOOC、微课等的出现，促使传统课堂教学模式与在线教育相互融合。在这种技术丰富的新型学习环境下，大量网络化、数字化的学习系统被应用，使得对学生个体全过程的行为数据采集成为可能。而平台建设是教育大数据发展的基础，它覆盖了从数据采集、存储计算、分析

4、挖掘到具体应用的整个生命周期。但是，目前相关教育大数据的研究大多停留在理论探索阶段，尚没有形成一个针对教育领域统一的、完整的大数据平台架构。因此，本研究对教育大数据平台的架构及其关键实现技术进行研究，以期为学术界和产业界提供参考。一对教育大数据内涵的再认识[2]大数据是指“规模超过了传统数据库软件获取、存储、管理和分析能力的数据集”。实际上，大数据不仅包括“大”的数据，而且涉及与之相适应的技术与思维方式：①在技术层面，为处理海量的、多模态的、实时产生的数据，产生了与之相适应的计算、存储、分析挖掘技术[3]——计算方面，出现

5、了面向批量数据、流式数据、图式数据的并行计算模型；存储方面，出现了诸如HDFS、HBase、Tachyon等分布式存储技术；分析挖掘方面，除了将传统数据挖掘和机器学习技术应用于大数据的并行计算，还出现了模拟人类智能的深度学习、认知计算等新技术。[4]②在思维层面，舍恩伯格等总结了大数据时代的三大思维转变，即使用全量数据、关注相关关系、接收混杂数据；此外，与传统的模型驱动和机理建模的方法所不同的是，数据驱动的创新思维方式无需了解内在机制和客观规律，而是从数据出发自上而下地探究问题的内在机理。对于教育大数据的内涵，目前没有统一

6、的说法。如《中国基础教育大数据发展蓝皮书（2015）》100万方数据Vol.28No.12018[5][6]将教育大数据界定为教育活动中产生的、蕴含着巨大价值的数据集合；而杜婧敏等从数据特征、来源、目标、技术的视角对其进行了解读。从广义的角度来说，本研究认为教育大数据的内涵包括：①教育大数据指“大”的数据集合，这些数据既具有一般大数据体量大、类型多、产生速度快、价值丰富的共性特征，又具有教育数据多层性、时间性和序列性的领域特点；②教育大数据还包括支持其处理的计算模型、存储技术和数据分析挖掘技术；③教育大数据也指利用全量的、

7、混杂的数据发现相关关系，并以数据驱动的方式来理解优化学习过程、学习环境和探究教育规律的思维方式。教育大数据要从理论走向实践应用，其关键在于平台的构建。二教育大数据平台的构建1需求分析教育大数据平台的定位是为教育大数据的汇集融合、海量存储、高效计算、深入分析挖掘以及教育应用的开发与运行提供基础支撑，因此该平台应满足以下功能性需求：①数据采集方面，应提供各种数据适配接口，支持结构化的数据库记录、非结构化的教育教学资源、实时的行为数据流等各种多源、异构数据的汇集；②数据存储方面，面对海量数据的存储需求，应提供高可扩展性、高容错性

8、、高吞吐量、低成本的分布式存储方案，支持文件系统、SQL/NoSQL数据库、数据仓库等存储方式，并提供高效的管理与快速查询功能；③数据计算方面，应提供面向海量数据的并行计算引擎，满足批量计算、实时计算、图式计算等不同应用场景的计算需求；④分析挖掘方面，应提供面向教育领域的分析挖掘模型及其相应的算法，能实