大数据学习之数据科学概论与大数据学习误区.docx

《大数据学习之数据科学概论与大数据学习误区.docx》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、大数据学习之数据科学概论与大数据学习误区　　“数据科学家走在通往无所不知的路上，走到尽头才发现，自己一无所知。”-WillCukierski，HeadofCompetitions&DataScientistatKaggle　　最近不少网友向我咨询如何学习大数据技术？大数据怎么入门？怎么做大数据分析？数据科学需要学习那些技术？大数据的应用前景等等问题。由于大数据技术涉及内容太庞杂，大数据应用领域广泛，而且各领域和方向采用的关键技术差异性也会较大，难以三言两语说清楚，本文从数据科学和大数据关键技术体系角度

2、，来说说大数据的核心技术什么，到底要怎么学习它，以及怎么避免大数据学习的误区，以供参考。　　1．大数据应用的目标是普适智能　　要学好大数据，首先要明确大数据应用的目标，我曾经讲过大数据就好比万金油，像百度几年前提的框计算，这个框什么都能往里装。为什么会这样，因为大数据这个框太大，其终极目标是利用一系列信息技术实现海量数据条件下的人类深度洞察和决策智能化，最终走向普适的人机智能融合！这不仅是传统信息化管理的扩展延伸，也是人类社会发展管理智能化的核心技术驱动力。通过大数据应用，面向过去，发现数据规律，归纳

3、已知；面向未来，挖掘数据趋势，预测未知。从而提高人们对事物的理解和决策处置能力，最终实现社会的普适智能。不管是商业智能，机器智能，人工智能，还是智能客服，智能问答，智能推荐，智慧医疗、智慧交通等相关技术和系统，其本质都是朝着这一目标在演进。随着云计算平台和大数据技术的高速发展，获得大数据基础设施建设相关技术和支持越来越容易。同时，移动互联网和物联网技术所具备的全面数据采集能力，客观上促进了大数据的积累和爆发。总之大数据就是个大框，什么都能往里装，大数据源的采集如果用传感器的话离不开物联网、大数据源的采

4、集用智能手机的话离不开移动互联网，大数据海量数据存储要高扩展就离不开云计算，大数据计算分析采用传统的机器学习、数据挖掘技术会比较慢，需要做并行计算和分布式计算扩展，大数据要自动特征工程离不开深度学习、大数据要互动展示离不开可视化，而面向特定领域和多模态数据的大数据分析技术更是十分广泛，金融大数据、交通大数据、医疗大数据、安全大数据、电信大数据、电商大数据、社交大数据，文本大数据、图像大数据、视频大数据…诸如此类等等范围太广，所以首先我们要搞清楚大数据应用的核心目标，这个明确之后，才利于结合不同行业特点

5、把握住共性关键技术，从而有针对性的学习。  　　2．从大数据版图看数据科学及其关键技术体系　　明确大数据应用目标之后，我们再看看数据科学（DataScience），数据科学可以理解为一个跨多学科领域的，从数据中获取知识的科学方法，技术和系统集合，其目标是从数据中提取出有价值的信息，它结合了诸多领域中的理论和技术，包括应用数学，统计，模式识别，机器学习，人工智能，深度学习，数据可视化，数据挖掘，数据仓库，以及高性能计算等。图灵奖得主JimGray把数据科学喻为科学的“第四范式”（经验、理论、计算和数据驱

6、动），并断言因为信息技术的影响和数据的泛滥增长，未来不管什么领域的科学问题都将由数据所驱动。  　　传统信息化技术多是在结构化和小规模数据上进行计算处理，大数据时代呢，数据变大了，数据多源异构了，需要智能预测和分析支持了，所以核心技术离不开机器学习、数据挖掘、人工智能等，另外还需考虑海量数据的分布式存储管理和机器学习算法并行处理，所以数据的大规模增长客观上促进了DT（DataTechnology）技术生态的繁荣与发展，包括大数据采集、数据预处理、分布式存储、NOSQL数据库、多模式计算（批处理、在线处

7、理、实时流处理、内存处理）、多模态计算（图像、文本、视频、音频）、数据仓库、数据挖掘、机器学习、人工智能、深度学习、并行计算、可视化等各种技术范畴和不同的层面。可见DT这种新技术泛型生态下的大数据版图十分庞杂，当然也有泡沫的成分存在，这个版图也会时刻处于变化之中，就像PC时代的应用程序，互联网上的网站，移动互联网的APP，大数据时代的技术和产品也正处于优胜劣汰的过程。　　上述大数据基本涵盖了国外大数据相关技术和产业链（国内中关村版的大数据技术和企业还是太少，多是传统信息技术企业在凑数），从大数据源，开

8、源技术框架，大数据基础设施建设，大数据核心的计算挖掘分析，大数据行业应用等方面进行了相关技术、产品和企业的展示。大数据产业链从数据源〉开源技术〉基础设施〉分析计算〉行业应用到产品落地，每个链条环节和下辖的细分内容都涉及大量数据分析技术。不管是学习技术还是开发产品，分析和理解这个大数据产业版图都十分必要。版图细节不做赘述，我们重点从学习的角度来看DT（Datatechnology）技术泛型下包括那些核心技术，各技术领域之间是什么样的逻辑关系，这是学习大数据