亚信黄国甫-大数据技术V266.pdf

《亚信黄国甫-大数据技术V266.pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、大数据技术海量数据的存储、计算、信息提取2014年03月课程目标通过2个半小时的学习可以实现的是：无法实现的是：理解什么是大数据掌握M/R编程清楚大数据能做什么精通HQL知道什么是hadoop，什么是hive掌握机器学习技术掌握hadoop的基本操作掌握hive的基本操作了解什么是机器学习知道成为大数据专家需要学习哪些知识原因说明：m/r编程需要安装开发环境，需要自己动手写一个程序，一般需要一天以上的时间来完成入门，真正掌握，开发出有效率的代码则需要编程经验的积累；HQL涉及的方面很多，尤其是编写高效的语句非常需要日常积累；机器学习需要多学科的知识，尤其是基于大数据的

2、机器学习更需要掌握编程技能目录1大数据简介2大数据存储与计算3从数据中获取信息大数据简介—大数据定义什么是大数据？大数据简介—大数据定义麦肯锡：大数据是指无法在一定时间内用传统数据库软件工具对其内容进行抓取、管理和处理的数据集合。IDC（互联网数据中心）：大数据技术是新一代的技术与架构，它被设计用于在成本可承受的条件下，通过非常快速(velocity)的采集、发现和分析，从大体量(volumes)、多类别(variety)的数据中提取价值。高德纳：大数据是大量、高速、多变的信息资产，它需要新型的处理方式去促成更强的决策能力、洞察力与优化处理（velocity，volumes，variet

3、y，value）；大数据简介—大数据历史1944年，卫斯理大学图书管理员赖得认为到2040年美国大学的图书将超过20亿册1961年，普赖斯在《ScienceSinceBabylon》杂志发布文章认为新期刊的数量呈指数级增长1964年，哈里和亨利发表文章“应对信息爆炸的技术”，他们认为应该少发布信息1967年，马龙和曼尼发表文章“数据自动压缩”，通过压缩应对信息爆炸1981年，匈牙利中央统计办公室开始一个项目，研究国家的信息产业,包括信息量大小。1996年，毛里斯和查科斯基发表文章，认为数字存储比纸质存储更划算1997年，迈克尔.考克斯和大卫.埃尔斯沃思发表文章首次谈到大数据这个词2001

4、年，倒戈.兰尼发表调查报告，首次谈到3v，velocity，volumes，variety2008RandalE.Bryant,RandyH.Katz,andEdwardD.Lazowska等人发表文章，认为大数据计算是商业、社会、科学等领域变革突破的动力……大数据简介—大数据发展趋势大数据为什么这么火？一些大数据的传说：大数据是未来世界的石油数据将成为一切行业当中决定胜负的根本因素，最终数据将成为人类至关重要的自然资源大数据，是下一轮创新、竞争和生产力的前沿谁拥有了数据以及对数据的发掘能力，谁就将占领下一个十年全球经济发展的制高点大数据简介—大数据发展趋势关键词“bigdata

5、”关键词“大数据”话题：Hadoop、nosql故事、概念、未来2011、2012大数据简介—大数据发展趋势技术成熟曲线尤其在新技术的炒作期，理解技术的真实价值才能在喧嚣与浮躁的氛围中不会迷失方向。大数据的价值观察：1、全球的数据爆炸式增长，不断增长的数据需要大数据技术来存储和计算；2、越来越多的实例证明，数据可以产生价值。大数据存储与计算—要点hadoop简介hadoop安装map/reduce编程HIVE和HQL语法Hadoop简介--原理由于力量的限制，一个人完不成的任务可以由多个人来完成。由于计算能力的限制，一台计算机完不成的任务也可以由多台计算机来完成。Hadoop

6、简介--存储网络Hadoop简介--存储方式Hadoop简介--硬件架构案例Hadoop简介--核心功能HADOOP安装Linux安装ssh（SecureShell）免密码登录配置Jdk安装（1.6以上版本）Hadoop安装LINUX安装http://www.cnblogs.com/zhangchaoyang/arCYGWIN安装ticles/1874647.htmlVMWARE真实LINUX操作系统ssh（SecureShell）免密码登录ssh-keygen-tdsa-P‘’（生成密钥对）namenodescp~/.ssh/id_dsa.pubroot@datanode1:~

7、/.ssh/authorized_keys（公共密码拷贝到datanode机器中）/etc/ssh/sshd_config(修改sshd配置文件）datanodePubkeyAuthenticationyesAuthorizedKeysFile.ssh/authorized_keys（去掉注释）chmod0600~/.ssh/*（更改文件权限）cat/root/.ssh/id_rsa.pub>>/root/.ssh/authoriz