资源描述：
《大数据对征信工作的启示与思考》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。
1、r·/冖'马南.磁屁亩η勺(ψ·1亠·、°妈冫大数据对征信工作的启示与思考——关于中国大数据技术大会情况的报告中国计算机学会于2014年12月13日-14日在北京新云南皇冠假日酒店,举办了2014中国大数据技术大会,邀请了国内外大数据技术和前沿的实践专家,包括电信运营商、制造业、互联网公司等参会。增值部庄传礼、马艺桂、丁卉、张珏瑜参加了该论坛。现将峰会情况报告如下:一、大数据技术专家观点汇总与分析(一)经过分析的大数据才有价值技术成熟度周期模型rHypecycleJ,是由著名的咨询公司顾能(Gartner)对众多行业发展周期的
2、预测与判断,该模型显示:大数据处于预期高峰,一方面不知道大数据意味着什么,一方面极度狂热。与会专家提出经过分析的大数据才是有价值的,数据不等于知识价值,这是由大数据的4Ⅴ特性,即数据量大【Volume)、数据类型多lvariety)、要求处理速度快lVel。citD、巨大的商业价值lValue)所决定的。面对海量的数据,只有经过分析,针对高维进行降维,提炼大量低密度信息中的价值,才能发挥作用。面对大数据的分析,要快速、规模化,如果需要投入很大资源找出价值,那么可能就是烫手山芋。百度研究院副院长、深度学习实验室主任、图片搜索部高
3、级总监余凯,德拉瓦大学⑴niversityofDelaware,电子与计算机工程系教授高光荣秉持该观点。(二)传统的统计学方法有利于保证大数据挖掘的数据质量大数据下采用数据挖掘,偏计算机学科,关注的是关联关系,“”,而不同于传统统计上寻找的因果关系,即关注是什么不是“”为什么。数据挖掘不一定要有精确的理论支撑,只要是有用的,能够解决问题的方式,都可以用来处理数据。而统计学所沿用的模型一定要强调有理论依据,数学原理或经济学理论。大数据所使用的聚类、神经网络、随机森林等挖掘技术,其算法未必极致,但通过吸收数据量的剧增,可以减少抽样
4、等数据误差,从而提高分析的准确性,这是对于统计学的直接影响之一。但并非不再考虑传统统计的假设前提理论背景,正如德拉瓦大学高光荣教授所说,创新不是发明,而是积累起的知识不被忘记。在大数据挖掘的过程中对于数据的清洗的去噪处理、寻找数据间的管理关系、模型优化及调整参数等问题,都需要严密的数理统计推导。二、大数据技术大数据的数据挖掘技术主要集中于数据库和机器深度学习两个方面。首先能拥抱大数据的是拥有大数据的机构,像百度、腾讯等互联网公司、中国移动等电信运营商。大数据平台的建设周期较长,谷歌Google,从2002年开始到2010年第一
5、个里程碑交互式数据分析系统(Dremel)的发布用时8年;脸谱(Facebook)30个人花费了4年时间建立大数据平台;全球最大职业社交网站邻客音Ginkedinl大数据部门建立花费了6年时间。经历了独立应用、架构调整、数据整合、数据平台等几个阶段。下面就会上讨论到的大数据相关的数据处理存储技术进行汇总:(一)数据库技术中国移动为大数据应用提供的数据库架构包括:数据采集和处理、数据挖掘及可视化、运营管理三个层次。数据采集和处理的资源层,包括有成熟的分布式数据库、大数据仓库、大数据平台(BC-Hadoopl三个模块,还有新增的内
6、存数据库、图计算、图数据库模块;数据挖掘及可视化的平台层,包括成熟的搜索引擎、数据挖掘产品等模块,还有新增的深度学习平台、机器翻译服务平台、自然语言处理平台三个模块;运营管理层采用的是系统和运营管理、数据安全管理、元数据管理三个新增的模块产品。(二)机器学习技术人工智能是科技创新的主战场。利用大数据技术,美国国际商用机器公司研发的超级电脑沃森(IBMwatsonl以超过第二名两倍多分数的绝对优势,在美国智力问答节目《危险》中击败两名人类对手。目前,沃森技术已转向商用,被国外大银行用于大规模金融信息处理。沃森与花旗银行合作进行信
7、贷评级分析,帮助信贷员收集和处理客户资料,根据客户资料及行为习惯,分析得出客户的信用风险等级,供信贷员参考。美国国际商用机器公司(IBM)还进一步将沃森应用到商业银行的组合风险管理。美国国际商用机器公司(IBM)与摩根大通合作,对社交网络上海量数据进行分析,将客户信息和内部相关信息进行融合,获得更详细的顾客背景描述,更有效地进行市场营销和风险管理。机器不断学习的能力,是智能的本质。沃森通过不断的进行大量非结构化数据的处理,模拟人脑进行学习。因而百度、美国国际商用机器公司(IBM)、脸谱(Fa∞book)都成立了深度学习实验室。
8、通过超机技术、并行大数据技术处理技术,由机器的不断(end-toˉend)学习,模拟人脑行为,从而实现一些复杂问题的解决。(三)依托移动云平台提供服务中国移动介绍了移动云平台,主要服务对象是中小企业,这部分群体自身拥有大量数据却没有足够的能力对信息进行分析。移动云平台通过托管
