基于hadoop平台的大数据应用系统架构设计思想

《基于hadoop平台的大数据应用系统架构设计思想》由会员上传分享，免费在线阅读，更多相关内容在应用文档-天天文库。

1、为了确保“教学点数字教育资源全覆盖”项目设备正常使用，我校做到安装、教师培训同步进行。设备安装到位后，中心校组织各学点管理人员统一到县教师进修学校进行培训，熟悉系统的使用和维护。基于Hadoop平台的大数据应用系统架构设计思想　　[摘要]在常规的数据平台设计中，其数据存储量相对较小，并且存在查询数据时间长等缺点，难以满足现阶段的使用需求，在此情况下，需要建立基于Hadoop云平台的大数据应用系统，以此来提升信息的处理以及存储效率。本文主要探究基于Hadoop平台的大数据应用系统架构设计，通过总体设计、功能设计、联网平台设计以及数据库设计来

2、实现系统的整体功能，从而提升大数据系统的设计质量以及管理需求。　　[关键词]Hadoop平台；大数据；应用系统　　中图分类号：S996文献标识码：A文章编号：1009-914X10-0176-01　　前言　　在传统的卡口信息处理中，其对信息处理的需求相对较低，因而仅仅需要存储数天的数据资料，但是随着社会的发展，人们逐渐提升了对信息的查询速度以及存储量需求[1]，在此情况下，传统的数据平台技术已经难以满足使用需求。因而需要通过Hadoop云平台的大数据应用来设计系统，以此来提升数据的存储和查询效率。　　1总体设计方案为了充分发挥“教学点数字

3、教育资源全覆盖”项目设备的作用，我们不仅把资源运用于课堂教学，还利用系统的特色栏目开展课外活动，对学生进行安全教育、健康教育、反邪教教育等丰富学生的课余文化生活。为了确保“教学点数字教育资源全覆盖”项目设备正常使用，我校做到安装、教师培训同步进行。设备安装到位后，中心校组织各学点管理人员统一到县教师进修学校进行培训，熟悉系统的使用和维护。　　在系统的设计与改造过程中，需要通过三个方面的工作来完成，其主要表现在以下几个方面：第一，在系统的设计中，需要对存储系统的硬件进行升级，扩大计算速度以及空间，将硬件设施池化；第二，需要对软件系统进行设计

4、，主要体现在数据库的升级[2]，且通过Hadoop技术来确定接口标准，提升系统的稳定行。第三，在系统的设计中，需要对软件设施进行设计，包括数据接收服务器。另外，在卡口的设计中，需要将其与各级子系统进行连接。在卡口的设计中，需要通过云计算联网平台将多个卡口服务器以及数据库连接起来，同时通过服务器将分级卡口接入到平台中，将提升整体的服务质量。　　2平台功能设计　　在卡口系统的联网平台功能设计中，其需要实现以下功能，以便保证系统的运行效率。需要对服务器进行升级，增加数据库接口，对各个分级的数据进行整合处理；加入Hadoopbase数据库系统，将

5、各分级系统信息存储到平台中；在平台增加卡口数据服务器，提供查询和检索服务；增加开发工具，实现卡口数据统一授时等功能；实现系统的云计算安全以及服务等相关功能模块。为了充分发挥“教学点数字教育资源全覆盖”项目设备的作用，我们不仅把资源运用于课堂教学，还利用系统的特色栏目开展课外活动，对学生进行安全教育、健康教育、反邪教教育等丰富学生的课余文化生活。为了确保“教学点数字教育资源全覆盖”项目设备正常使用，我校做到安装、教师培训同步进行。设备安装到位后，中心校组织各学点管理人员统一到县教师进修学校进行培训，熟悉系统的使用和维护。　　在系统的功能设计

6、中，第一层属于基础设施资源层，在设计过程中，对传统的平台进行改造，增加计算以及存储服务器，同时扩充存储量，在对系统软件升级的基础上，实现对信息资源的整合，同时通过池化处理，可以为系统的基础资源进行扩充。　　系统第二层属于软件资源层，在设计过程中，运用分布式数据局以及Linux技术进行设计，可以实现数据的加载以及存储等功能，通过该平台层，可以将数据存储带分布式数据库，且在该系统中添加存储模块以及查询模块等多个模块，全面的实现系统的总体功能。在系统的管理模块设计中，其包括日志管理系统、对象事务管理以及远程管理等多个模块，通过Hadoop云平台

7、资源配置来实现功能。系�y的加载存储模块分为并行数据加载以及ETL等模块，其主要是实现数据并行加载和处理的功能，以此来实现数据的存储。　　3联网平台设计　　在联网平台的设计和改造过程中，其主要需要对设施资源层、平台软件资源层以及软件数据资源服务层三个等级进行设计和改造，其具体表现如下：　　平台软件资源层设计为了充分发挥“教学点数字教育资源全覆盖”项目设备的作用，我们不仅把资源运用于课堂教学，还利用系统的特色栏目开展课外活动，对学生进行安全教育、健康教育、反邪教教育等丰富学生的课余文化生活。为了确保“教学点数字教育资源全覆盖”项目设备正常使

8、用，我校做到安装、教师培训同步进行。设备安装到位后，中心校组织各学点管理人员统一到县教师进修学校进行培训，熟悉系统的使用和维护。　　平台软件资源层主要是提供数据并行加载等功能，该层主要分为系统