hadoop安全总体架构设计建议

《hadoop安全总体架构设计建议》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、Hadoop应用点总体架构设计建议1・总体架构规划银信通方移动接口虚拟商城UserProfilehbasehivesqoop1-1平台愿景联动优势hadoop平台总包含以卜•儿人模块：•数据平台：数据平台提供对最原始数据的存储，以及ETL,为上层系统提供数据支撑，其中数据平台功能包括，数据存储、离线处理、在线处理、数据导入导出。•应用平台：如查询系统、风控系统构建在数据平台以及数据产品Z上。•内部运行支撑应用环境：主要指能够支撑平台稳定运行的各种系统与工貝如调度系统、监控系统、管理系统等•数据产品：数据产品以数据平台为基础，应用各种分析方式、挖掘算法包装出一些列的数据产品，比如UserP

2、rofile等1.2数据处理流程银信通日志采集系统前端应用MEMCACHE///////HDFS关系数据库$丿HBASE口志采集：由现冇的业务系统通过分布式口志采集系统，将非结构化业务口志采集到HDFS上，同时H志釆集系统包含FI志分发模块，可以将H志分发到实时计算框架小。离线处理：主要针対存储到HDFS上的口志通过pig、mapreduce>hive等离线处理框架进行离线处理，并町以通过sqoop将结果导入到Hbase、mysql等存储中在线处理：通过I」志转发模块给Storm集群转发实时I」志，Storm将数据实时处理并将计算结果存储到Hbase等大吞吐量的key-value数据

3、库中，供前段应用实时查询数据展示：前端应用通过缓存层将数据库小的数据进行一次缓存，达到良好的用户体验1.3实施战略技术路线平台架构路线可以分为三步骤：离线期：根据当前情况，实现HDFS的离线处理就能够满足业务需求，这一期间需要把Hadoop基本平台构建完备（安全、规范、流程这个很重要），数据釆集系统构建。以需求驱动架构，根据木人经验大概需要一个季度的时间可以将离线期架构的模块稳定运行。实时期：在离线期结束后，我们对人数据处理的轮廓也有了，以及遇到的一些问题也相应的解决，这吋期主要针对具体的某个实吋应用场景，将实时计算模块构建出来，storm+hbase,简单会应用这些技术难度不会太大，最

4、主要是要制定相应的使用流程和规范，为后续运营铺犁综合期：该时期主要是针对前两个计算模块开始搭建相应的监控系统、使得系统稳定、易川、好用，这个时期的工作耍根据具体出现的问题和情况灵活调配。2.存储平台存储平台:底层主要采用HDFS分布式文件系统来支撑,HortonworksCTOEric在2012全球大数据峰会上指出未來90%的数据都将存储在HDFS上。各大厂商的计算框架在设计上都要以支持HDFS为第一前提。数据平台在实施中需要考虑到儿大问题：安全问题、平台规范、平台监控。2.1平台安全通常数据平台的构建都着重于可扩展性、高可用性等,在设计上忽略了对数据安全的考虑。在hadoopO.20x

5、的版本上，Hadoop并没对女全做过多的考虑与设计，所以在先前的Hadoop版本中存在诸多安全问题。2.1.1安全问题2.1.1.1Linux终端的随意连接Hadoop集群并没对涟接其服务的Linux终端做任何的身份认证，所以任何知道其服务地址的用户都可以配置任务的Linux客户端连接Hadoop集群,直接在其拥有root权限的终端操作集群。Hadoop的默认用户权限是基于Linux终端的用户组信息，假设HDFS的超级管理员是Hadoop用户，本來我们分配出来的终端，每个用户在终端上只有自己的一个特定账户，而口该账户对应了HDFS上的账户，这样在操作上就能够给控制到用户相关的权限。现在如

6、果某用户A通过另一台未知的Linux终端连接到我们的集群（这个只要用户知道我们的集群地址就可以配査），并且该用户拥有这个终端的root账户，那么该用户就可以通过这个终端操作任何HDFS用户的数据，这个対开放的数据平台來说是极度的不安全。所以我们在研究解决这个问题需要达到的冃标是连接集群的Linux终端是我们口J控制的，不能通过用户随意添加。2.1.1.2非法应用的连接一般我们都可以开发一些应用连接Hadoop的HDFS服务，比如Fl志采集系统将外部的业务系统采集过来的FI志直接上传到HDFS上。在之前的数据平台并没对第三方应用做一些身份认证，任何APP只要知道其服务地址就可以往HDFS上

7、存储数据，修改数据，这样对现有的数据是极其的不安全。同时还可以开发一些私有的应用程序用来过度的消耗数据平台的计算资源，导致口常的业务计算得不到足够的计算资源影响止常的业务报表。所以我们针对这个问题的研究重点是对笫三方的应用程序需耍设计一套认证方案，使得任何应用程序要连接数据平台的应用都要事先申请一个token,这个token可以是永久的也可以的临时，然后才能使用数据平台的服务。2.1.1.3用户身份的冒充在我们提交的MapReduc