小时代到大时代的个人选择——如何成为大数据时代的弄潮儿.docx

《小时代到大时代的个人选择——如何成为大数据时代的弄潮儿.docx》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、优选CDA数据分析研究院出品在和很多想进入数据科学行业的小白们聊天的时候，在谈到为什么要进入这个行业的时候，他们都认为未来，将会是数据为王的时代，他们之中有很多已经工作多年已经了解到行业内数据的发展变化，有一些是还处于校园内，通过各种方式也是看到了未来的大数据时代的方向。他们普遍的认为随着技术的发展，在不远的未来，数据将成为主导各行业发展的前提，通过数据分析客户的行为，来更好的为客户去进行定制化服务。那么在这个逐渐逼近的大数据的时代下，单个的人如何去适应这股浪潮以及如何在这股浪潮下去选择前进的方向，也是他们在不断的前进中迷茫了方向的原因。今天我们从多

2、个方面的发展，看一下大数据这股浪潮的起源，并探讨一下大数据时代浪潮是如何发展起来的，以及在大数据时代下，我们个人如何是否要选择进入这股浪潮，并在这股席卷全球的浪潮中，分析各个行业的要求与发展，选择适合我们个人的岗位，让那些还在迷茫状态下的人早点认识到自己前进的方向，毕竟这不是一个大鱼吃小鱼的时代，而是一个快鱼吃慢鱼的时代，随着一股股浪潮的袭来，只有快速的掌握好方向，才能防止自己被吃掉，并且可以不断的壮大自己，不止是各行业内的企业，个人也是一样。从Excel到人工智能-数据可追溯的发展阶段16/16优选第一阶段：KDD（KnowledgeDiscove

3、ryinDatabaxxxxse）KDD流程是指从数据集中识别出有效的、新颖的、潜在有用的，以及最终可理解的模式的非平凡过程代表了在关系型数据库积累了部分数据之后，人们对数据利用的一种原始构想。代表工具：结构化数据语言（SQL）第二阶段：数理统计分析数理统计分析是指利用小样本，进行描述性统计分析，即数理统计推断等工作，是一个从数学原理、统计学原理向外求印证的过程代表了人们开始将复杂数学原理应用于数据库中数据进行分析的初步尝试上图是将统计分析落实到数据空进行数理统计分析的阶段数理统计算法的一般特点1.数理统计算法—所谓数理统计学方法，是指在低维、少量样

4、本下对数据进行离线批处理的、从数学原理出发向外求进行印证的一系列算法。2.舍恩伯格曾在《大数据时代》中断言：随着“全样本”的出现，真对低维、少量样本的数理统计学方法将逐渐失去其价值，其实现在看来，并非如此。3.随着数据价值被更加普遍的认识，越来越多的算法尝试、更多算法在更广阔空间内的价值被挖掘，数理统计算法就是其中典型之一。第三阶段：机器学习机器学习的定义有两个，一个是经典定义一个是通俗的定义。16/16优选经典的定义是：一个计算机程序可以从经验E中学习某些类型的任务T和性能度量P，并且它在任务T中的性能(用P度量)随着经验E的提高而提高。原文为：A

5、puterprogramissaidtolearnfromexperienceEwithrespecttosomeclassoftasksTandperformancemeasurePifitsperformanceattasksinTasmeasuredbyPimproveswithexperienceE。通俗的定义来自湖畔大学教育长、阿里集团学术委员会主席曾鸣的《商业智能20讲》，认为机器学习，其实是机器用笨办法去算，它的所谓学习是通过概率论的方法，不断地去通过正反馈来优化结果，而不是像人一样去思考学习大数据时代16/16优选现在我们已经处在一个

6、大数据的时代，这个时代是以创造更大的社会价值为核心需求为驱动，并且数据、算法、计算能力这三个方面的都有所发展，有所突破的情况下，驱动彼此，这三方面相互促进，协同发展，并且伴随着大数据时代标志的来临。下面我们探讨一下，有关数据、算法、计算能力这三个方面，近些年的发展突破。16/16优选数据层的突破数据层的突破主要是伴随着数据从结构化到非结构化、数据列由小到大、数据维度从低到高而进行的突破。1.运营式系统阶段：·数据库的出现使得数据管理的复杂度大大降低数据往往伴随一定的运营活动而产生并记录在数据库中数据的产生方式是被动的1.用户原创内容阶段：·数据爆发产

7、生于Web2.0时代而Web2.0的最重要标志就是用户原创内容，智能手机等移动设备加速了内容产生，以及数据产生方式都是主动的1.感知式系统阶段·感知式系统的广泛使用是人类社会数据量第三次大的飞跃并且最终导致了大数据的产生信息技术以及计算能力的突破信息技术以及计算能力的突破主要是以存储容量、网络宽带及CPU计算能力为核心一系列的突破存储设备容量的不断增加网络宽带的不断提高16/16优选以ApacheHadoop为核心的分布式集群的诞生极大的提高了单价所能买到的计算性能，同时，以云计算为代表的一系列技术进一步提高了计算资源的可获取性。分布式算法执行分布式

8、算法执行是借助分布式集群、Hadoop生态进行算法执行，这就是典型的使用者创造工具，而工具将反过来影响使用者