人才科学研究院-中国人才大数据平台建设

《人才科学研究院-中国人才大数据平台建设》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、人才科学研究院中国人才大数据平台建设及合作方案1基本需求中国人才大数据中心建设内容主要包含：中国人才大数据库；本科、硕士、博士、博士后等学校数据采集整理中国留学生人才数据库；海外留学回国人才数据及出国留学人才数据库中国职业人才数据；全国职业学校数据库中国科技类企业数据；采集工商注册的法人数据，按行业分类存储的数据类型有以下三种：1＞教育部学信网的所有注册用户数据（主要是学历简介资料）2、中国留学人才基金会的留学人才数据及中组部千人计划专家数据等3、中国职业院校的中级职称以上数据4、中国工商注册的科技类、大数据、人工智能等企业法人数据目前需要提供客户一套建设方案，如下内容需要设计：仁硬件详细配置

2、清单（包括大数据中心涉及的所有应用服务器、数据库服务器、网络设备的设备数量、配置）2、软件清单（大数据存储及计算所需的成熟软件和定制软件）3、系统架构（硬件架构和软件架构）4、合作模式2硬件配置清单根据对人才科学研究院关于中国人才大数据平台初步的项目需求，评估平台需要购置硬件设备清单如下表1所示。表4硬件配置清单设备类型配置数量用途4路8核处理器;64GB内存;8块600GB15KrpmSAS云平台计算节点和数计算服务器硬盘;据存储双千兆网卡;双万兆网卡;2路8核处理器;32GB内存;管理服务器磁盘阵列硬盘;双万兆网卡;云平台管理节点和数据存储16块2TB7200rpm/uI4-5数据存储24

3、UZL24口网络互连网络互连KVM机架16口标准机柜1键盘、显示器2硬件设备存放3软件配置清单根据对人才科学研究院关于中国人才大数据平台初步的项目需求，评估平台表2软件配置清单软件用途是否定制需要使用硬件清单如下表2所示。CentOS服务器操作系统否Hadoop分布式系统基础架构否HBase列式数据库否Hive数据仓库否KylinOLAP引擎否Spark大规模数据处理计算引擎否TomcatWeb服务器否Ngnix负载均衡服务器否MySQL关系数据存储系统否私有云管理平台虚拟化云平台否统一存储管理平台数据统一存储与管理否统一身份认证系统用户身份认证授权否用户管理与权限系统用户与权限管理否人才大数

4、据管理平台实现数据采集、存储、管理、应用、产品初步形态等功能是人才大数据应用平台包括WEB、APP、小程序、公众号等多种服务形态，对公众提供人才数据服务是4系统架构4.1硬件架构空她敘袪艶系疣用户典塔000存緒阵舛图1人才大数据平台硬件架构设计图图1所示为中国人才大数据平台硬件架构拓扑图，主要包管理节点、计算节点、存储阵列、网络交换机。图中还给出了现有硬件和大数据平台的关系，包括用户终端和空地数据链系统。中国人才大数据平台构建在私有云环境之上，因此具有部署方便、灵活扩充、安全可靠等特点。私有云环境主要包括管理节点、计算节点、存储阵列和网络交换机，采用高性能的计算和存储配置，非常适合进行数据的存

5、储管理和分析。管理节点提供镜像、块存储、网络等服务，在云平台中具有非常重要的地位，为了保证云平台的长期运行，这里使用3台管理节点做成高可用集群，能够有效减低单点故障。计算节点为上层应用提供虚拟机,初期规划采用台计算节点,满足现有的计算和存储要求。随着需求的增加，后期可以非常方便的增加新的计算节点，扩充系统的规模，基于目前的架构能够轻松支撑100台左右的计算节点。在私有云环境中会部署大数据分析系统、统一存储管理平台、身份认证系统、用户与权限管理、人才数据管理平台、业务数据库等应用，用户通过这些应用对数据进行管理和分析。中国人才大数据平台的网络包括管理网络、虚拟网络和存储网络。管理网络连接大数据云

6、平台和用户现有设备，用于大数据平台的数据交互和业务系统访问。虚拟网络用于云平台中虚拟机之间的通信，以及用户访问虚拟机。存储网络用于统一存储系统内部的数据复制，统一存储是一个由分散在所有节点上的本地硬盘组成的分布式存储系统，它通过多副本方式实现数据的高可靠存储，存储网络连接所有节点，且对用户完全透明。4.2软件架构用户登录前端界山I运维监控教学系统录入历史数据导入数据维护用户信息统一身份认证快速导航查询检索数据可视化(*)数据统计用户管理系统应用服务系统监控故障预警计算服务Hadoop数据采集数据1:教学系统数据数据2：历史数据虚拟化云平台数据分析(*)MapReduce数据3：空地实时数据I数

7、据存储模板管理地址管理在线迁移平台高可用数据管理数据备份权限控制虚拟机快照服务冃录数据可靠存储统一存储平台数据迁移监控告警数据编目Jk■服务编排日」志审计数据莞整性监控告警统计报表应急处理系统设置图2中国人才大数据平台软件架构设计图中国人才大数据平台采用分层设计的策略，按照功能定位的不同，平台可以分成基础设施层、数据存储层、计算服务层、应用服务层、前端界面层五个层次。基础设施层采用虚拟化云平台管理