基于hadoop技术的银行大数据平台架构设计

《基于hadoop技术的银行大数据平台架构设计》由会员上传分享，免费在线阅读，更多相关内容在应用文档-天天文库。

1、基于Hadoop技术的银行大数据平台架构设计中国民生银行总行基于Hadoop技术完善银行大数据平台架构的设计，有利于提升一行大数据平台的安全性，有利于减少外界因素对银行大数据的冲击，对促进银行的更好发展，具有重耍作用。本文在对完善银行大数据平台架构设计的必要性进行综合阐述的基础上，论述了基于Hadoop技术的银行大数据平台架构的设计方案，并分析了银行分布式大数据平台架构实现方案，以期为相关人士提供借鉴和参考。关键词：Hadoop技术;大数据;平台架构;一、引言随着社会经济的不断发展和社会生产力水平的进一步提升，商业银行呈现了迅猛的发展势头，基于大数据时代背景下，完善银行的大数据平台建设，显得

2、尤为重要。现阶段，我国商业银行的大数据平台架构设计不能充分满足银行对数据处理的需求，对银行的进一步发展形成阻碍。因此，基于Hadoop技术完善银行大数据平台架构的设计，具有十分重要的现实意义。二、完善银行大数据平台架构设计的必要性随着在线银行、移动银行、电子金融市场的迅速发展，我国银行业已进入大数据时代，现有的联机分析处理技术已不能充分满足银行业务拓展对数据资源的海量需求，不利于促进国家级数据屮心的顺利建设和大数据技术的进一步发展。银行对大数据的处理面临着严峻的挑战，数据处理的软件和硬件成本均不能达到和关标准，大数据系统的扩展性能也不能达到最佳状态。随着大数据平台由数据库平台向云计算平台转化

3、，我国商业银行的数据分析系统处于商业智能向大数据平台转化的风口浪尖，不断提升大数据平台架构设计的科学性与合理性，成为广大设计人员亟需探讨的问题Ill。因此，基于银行对数据处理需求量巨大的条件下完善银行大数据平台架构设计，具有十分重要的意义。目前，学术界已经研发出较为成熟的人数据平台系统，其中，分布式系统基础架构Hadoop就是成功的案例，分布式系统基础架构通过利用多台廉价的PC机协同提供服务，具有稳定的性能和高速的数据处理能力，受到广大电商企业和银行的追捧。随着时间的发展，分布式系统基础架构设计技术不断完善，并在大数据存储和处理方面得到了广泛应用，如亚马逊、Yahoo、阿里巴巴等m。三、分布

4、式大数据平台的总体架构设计（一）数据源层基于Hadoop技术的数据源层设计能够多种渠道获得数据源，并能够通过对数据源的深入分析，促进数据的有效整合，形成后续使用的良好基础。冋吋，数据源层对数据的采集能够通过半结构化、结构化和非结构化的方式进行。其屮，结构化的数据采集由银行总行的数据中心系统、外围系统和分行的特色业务系统产生的业务数据组成。耶结构化和半结构化数据采集由监管机构和第三方机构以及互联网文字、音频和视频等数据信息构成［3］。（二）数据传输转换层棊于Iladoop技术的数据转换层主要将数据源层的源数据利用ETL工具导入到数据存储层中，数据转换层的主要功能如下：（1）存量迁移:能够实现对

5、存量数据的同步导入；（2）增量迂移:能够破解增量数据文件的密码，并实现转码，促进所有数据信息的整合；（3）生命周期管理:能够实现对旧表数据的清理和新表导入，同时能够对增量数据存储进行周期管理；（4）元数据管理:能够通过后台管理，形成表结构、联合主键、分区信息加载管理的良好基础；（5）调用、监控、告警:能够针对日常数据的加载异常，监控整个加载流程，及时对加载异常报警,确保数据传输和转换能够持续稳定运行。同时，还能够促进Hadoop数据资源的合理分配，管理正在执行的任务列表，优先运算任务等级较高的数据［4］。（三）数据存储计算层棊于Iladoop技术的数据存储计算层充分利用IIDFS分布式存储和

6、自身分布式计算的特点，实现了文件分块和计算机的有机结合，通过将数据计算任务划分为不同的文件块，并分派至不同计算机，能够有效提升数据运算的效率，然后将计算结果汇总，实现对大数据平台计算能力的拓展，同时，分布式计算适用于大量数据的离线处理过程中。本次基于Hadoop技术的数据转换层利用Spark技术，能够通过较小的硬盘资源和网络资源的占用量，实现对大量数据新系的实时分析，能够形成科学决策的良好基础。流处理技术负责处理银行业务流中产生的数据，实现对牛.命周期较短数据价值的有效挖掘，促进银行业务的更好开展［5］。（四）数据服务层基于Hadoop技术的数据服务层通过运用强大的数据储存能力和数据计算能力

7、，实现对大数据平台结构化数据和非结构化数据的有机整合整合，并能够发挥数据挖掘功能的价值，应用于以下场景：（1）诈骗侦测:通过对提取异常行为的实时监测，能够有效降低银行信用卡丢失和盗刷事件的发生概率，为银行争取冻结异常账户的时间。（2）风险管理:能够通过对交易数据的深入分析，构建模拟的市场交易模型，实现对潜在风险的有效评估。（3）客户分类优化产品：能够从微观角度深入了解客户的实际需求，为客户提供针对性的产品，提