大大数据建模和算法特征

《大大数据建模和算法特征》由会员上传分享，免费在线阅读，更多相关内容在应用文档-天天文库。

1、标准实用文案 零售银行为了给客户提供更加优质的服务，需要通过分析银行系统本身数据库所保留的客户资料信息，对客户进行分类管理。　　近年来，大数据已成为科技界和企业界关注的热点，越来越多的企业和研究者正在关注大数据的应用。大数据的分析与挖掘技术在科学界正在如火如荼的展开，各种大数据的新算法被开发研究出来，例如近年来发展比较完善的一种数据分析挖掘算法支持向量机。与此同时，大数据分析在商业中的运用受到人们的追捧，各种大数据在商业中成功运用的案例层出不穷，比如美国大型零售商target公司的广告精准推送。本文将对

2、大数据分析技术以及大数据分析技术在零售银行行业的作用进行一番探讨。  什么是大数据2011年，麦肯锡在题为《海量数据，创新、竞争和提高生成率的下一个新领域》的研究报告中首次提出大数据的概念。报告认为数据已经渗透到每一个行业和业务职能领域，数据中蕴含着巨大的价值，这些价值将导致数据成为重要的生产因素。2012年《纽约时报》的一篇专栏中写到，“大数据”时代已经降临，在商业、经济及其他领域中，最终决策将日益基于数据和分析而作出，而并非基于经验和直觉。2012年3月，美国奥巴马政府宣布投资2亿美元启动“大数据研

3、究和发展计划”，这是继1993年美国宣布“信息高速公路”计划后的又一次重大科技发展部署。美国政府认为大数据是“未来的新石油”，将“大数据研究”上升为国家意志，对未来的科技与经济发展必将带来深远影响。进入21世纪，互联网的兴起促成了数据量的大规模增长。互联网时代，几乎全民都在制造数据，与此同时，数据的形成也极其丰富。一方面，既有社交网络、多媒体、协同创造、虚拟服务等应用所主动产生的数据;另一方面，又有搜索引擎、网页浏览过程中被记录、被收集的数据。该阶段数据的特点是用户原创、主动、交互。根据国际数据公司(I

4、DC)的研究报告，2011年全球被创建和被复制的数据总量为1.8ZB(数据存储单位，泽字节，等于1024艾字节或270个字节)，且增长趋势遵循新摩尔定律，预计到2020年，全球数据量大约每两年翻一番，全球将拥有35ZB的数据量。正是由于信息技术的发展，大数据才能生成和发展。大数据技术正是从海量的、多样化的数据中，快速获得有价值信息的能力。文档标准实用文案大数据指的是所涉及的数据量规模巨大到无法通过人工，在合理时间内达到截取、管理、处理、整理成为人类所能解读的信息。在维克托?迈尔-舍恩伯格及肯尼斯?库克耶

5、编写的《大数据时代》中，大数据分析是指不用随机分析抽样调查的方法，而采用对所有数据进行分析的方法。基于目前对大数据的认识，通常认为大数据具备了4V特点，即Volume(大量)、Variety(多样)、Velocity(高速)、Value(价值)。这四个特点从四个方面描述了大数据分析技术：第一，数据体量巨大。从TB级别到PB级别，甚至跃升至EB乃至ZB级别;第二，数据类型多样。包括网络文本、日志、视频、图片、地理位置信息等各种结构化和非结构化的数据都有，一切信息皆为数据。第三，处理速度快。利用各种大数据分

6、析工具，比如hadoop和SPSS，可从各种类型的数据中快速获得高价值的信息，这一点和传统的数据分析技术有着本质的区别。第四，只要合理利用数据并对其进行正确、准确的分析，挖掘出数据内部隐藏的相关关系将会带来很高的价值回报。与传统的逻辑推理研究不同，大数据研究是对数量巨大的数据做统计性的搜索、比较、聚类和分类等分析归纳。大数据分析比较关注数据的相关性或称关联性，所谓“相关性”是指两个或两个以上变量的取值之间存在着某种规律。“相关分析”的目的是找出数据集里隐藏的相互关系网(关联网)。因此大数据是侧重找出相关

7、关系而不是找出因果关系。也许正是由于大数据分析侧重于寻找相关关系，才促使大数据分析技术在商业领域广泛应用。商业的运用在于盈利，因此只要从数据挖掘中发现某种因素与增加盈利有较强的关联性，然后全面开发该相关因素就行。大数据分析建模的基本思路技巧 文档标准实用文案有了大量数据之后，下一步就是分析这些数据，期望通过合适的数据分析挖掘技术建立模型找到蕴藏在数据下面的客观规律。大数据分析技术经过这么多年的发展，已经形成了一些分析建模的基本思路。CRISP-DM(即“跨行业数据挖掘标准流程”的缩写)是一种业界认可的用

8、于指导大数据分析挖掘工作的方法。CRISP-DM认为在大数据分析中存在一个大数据分析挖掘生命周期模型。在这个生命周期模型中存在着商业理解、数据理解、数据准备、建立模型、模型评估和结果部署这六个阶段。图1中展示了这六个阶段的关系，其中箭头的多少表示各个阶段间依赖关系的使用频率和重要程度，每个阶段之间并不一定要严格遵守顺序。实际上，大多数项目都会根据需要在这些不同的阶段之间来回移动。商业理解通常是指理解业务的实际类型，业务上的实际问题并且尝试尽