【5A版】金融大数据解决方案之我谈.pptx

《【5A版】金融大数据解决方案之我谈.pptx》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、金融大数据技术解决方案之我谈演讲者张天长大数据背后的技术金融大数据与传统数仓议题构建金融大数据解决方案大数据解决方案分析实践大数据平台数据仓库案例大数据背后的技术大数据技术起源4Google三大论文MapReduce/GFS/BigTableApacheLucene开源的高性能全文检索工具包ApacheNutch开源的Web搜索引擎大数据技术起源5GoogleHadoopGFSHDFSMapReduceMapReduceBigTableHBase大数据技术的发展62004年--DougCutting基

2、于Google论文实现(HDFS/MapReduce)。2005年12月--Nutch移植到新的框架，Hadoop在20个节点上稳定运行。2006年01月--DougCutting加入雅虎。2006年02月--ApacheHadoop项目正式启动以支持MapReduce和HDFS的独立发展。2008年04月--赢得世界最快1TB数据排序在900个节点上用时209秒。2008年10月--研究集群每天装载10TB的数据。2009年03月--17个集群总共24000台机器。2009年04月--59秒内排序5

3、00GB(1400个节点)和173分钟内排序100TB数据(3400个节点)。大数据平台集成商7ClouderaHortonworksFusionInsight（华为）Transwarp（星环）大数据平台核心组件8HADOOP（分布式文件系统HDFS，并行计算框架MapReduce)YARN（Hadoop资源管理器：计算、内存、带宽等）HIVE（分布式数据仓库，HiveQL语言，不适合低延迟计算）HBASE（宽表、大表的非结构化数据库）SPARK（具有MapReduce有点，中间结果在内存，语言JAV

4、A、SCALA）ZOOKEEPER（分布式应用程序协调服务）MANAGER（集群管理）Mahout(可扩展的机器学习和数据挖掘库)金融大数据与传统仓库金融传统数据仓库10报表平台绩效系统支付系统客户360个人结算账户回单打印银企对账存贷标准化监管报送系统内审系统关联交易成本分摊风险监控外管报送系统风险预警平台EAST数据报送总部一体化后督AML反洗钱。。。。。。客户风险大数据部分应用场景11网络金融征信P2P网络贷款市场规模急剧增长个人征信业务需求不断上升通过大数据实时分析客户信用记录提升企业价值小微

5、贷款管理需要大数据分析提供业务支撑利用实时数据处理信息管理、交叉营销、信贷模型分析以及业务风险控制的需求不断提升财富管理评估利用大数据分析给予用户有价值的财富管理产品组合使用业态广：银行/财富管理机构/券商/保险反欺诈预警渗漏与欺诈风险增加，控制力度和手段不足缺乏先进的分析能力“实时高效”的甄别可疑理赔行为客户识别、流失预警分析识别潜在客户群体、维护老客户、降低客户开发成本成为主要需求理赔审查评估骗保识别成为保险业最大问题难点分析、评估理赔数据有效降低风险并为保险赔付制定提供依据高频交易分析量化投资增

6、长迅速，对结构化/非结构化数据利用力度不断加大实时、准确的数据模型提供有价值的交易推荐，提升客户满意度保险精算利用大数据对险种、赔付率建立模型进行细分维度下的精准预测提升企业盈利水平保险业核心业务需求实时分析客户信用记录提供贷款依据大数据提供交叉营销、信贷模型分析大数据实时分析渗漏欺诈风险利用外部内部大数据有效管理客户关系实时建立赔付率模型、并根据客户分析制定险种划分内外部大数据分析有价值的财富投资组合数据量化投资组合、建立高效数据模型理赔数据审查、数据评估，有效降低异常赔付和骗保大数据在金融领域的热

7、点应用12用户画像风险管理资产产品定价运营优化区块链智能投顾风险定价量化交易精准营销金融搜索引擎金融领域大数据应用热点图横轴代表该应用领域价值周期，表明该应用价值速度的快慢纵轴代表该应用领域的炒作周期阶段圆圈代表应用领域的规模，表示该应用领域当前参与方的多少与应用数量大数据解决方案分析实践大数据部分应用分析-某互联网金融产品14互联网金融行业在解决什么问题?面临怎样的风险?用什么样的技术手段来应对?‒传统金融V.S.互联网金融‒信用风险V.S.欺诈风险‒传统风控V.S.数据科学技术风控互联网金融行业中

8、的风险15风险遇到的问题业界通常的方法业界的方法为什么无效信用风险还款能力收集收入水平、消费水平、负债情况等对用户进行风险评分无权威数据、数据收集难度大、传统评分卡有效特征挖掘难度大欺诈风险伪冒申请和欺诈交易人工审查、信用黑名单、基于规则人工效率低、无权威黑名单、无法自动发现异常、欺诈手段更新快互联网金融风险分析实践16借款用户通信社交网络与欺诈风险结论1:与坏用户有大量关联的借款用户的坏账率是未关联用户的2.9倍结论2：高分段用户的坏账率是低分段用户的