云计算及大数据技术论文.pdf

《云计算及大数据技术论文.pdf》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、14:321/49第1讲云计算及大数据技术Google的核心技术14:322/49主要内容1）云计算2）大数据3）Google关键技术14:323/49云计算的发展移动互4G联网云计算物联网三网融合14:324/494G与云计算是互相依存、互相促进的关系4G将为云计算带来数以亿计的宽带移动用户。用户的终端计算能力和存储空间有限，却有很强的联网能力，对云计算有着天然的需求云计算能够给4G用户提供更好的用户体验。云计算有强大的计算能力、接近无限的存储空间，并支撑各种各样的软件和信息服务，能够为4G用户提供前所未有的服务体验14:325/49物联网与云计算是交互辉映的关系从量

2、上看，物联网采集惊人的数据需要通过无线传感网、宽带互联网向某些存储和处理设施汇聚，而使用云计算来承载这些具有非常显著的性价比优势；从质上看，使用云计算设施对这些数据进行处理、分析、挖掘，可以更加迅速、准确、智能地对物理世界进行管理和控制物联网将成为云计算最大的用户，将为云计算取得更大商业成功奠定基石14:326/49移动互联网和云计算是相辅相成的通过云计算技术，软硬件获得空前的集约化应用移动互联网时代来临，对用户来讲，最好的体验是淡化有线和无线的概念。云计算有望突破各种终端，显示的内容、应用都能保持一致性和同步性云计算对于云和端两侧都具有传统模式不可比拟的优势14:32

3、7/49三网融合为云计算提供切实的应用机会云计算技术使得一些从事传统行业的企业也能搭上三网融合和下一代广电网的快车云计算在三网融合及下一代广电网中的应用，涉及数据存储、数据计算、数据再处理、软件开发、数据传输、网络协同等多个方面14:328/49云技术给了人们廉价获取海量计算和存储能力•大数据处理之所以发生是因为：•廉价技术使大数据变成可能•以前一个大型机，或者一个数据处理中心的事情，目前可以用一个Hadoop集群来完成–宽带连接的普及使得人们时刻保持在线状态–社交媒体意味着每个人都在创造有趣的数据也消费这些数据。•拥有GPS定位系统的智能手机正提供人们时刻产生数据的能

4、力。14:329/49资源发展不平衡•资源的分类–计算能力，存储能力，网络速度•瓶颈问题–数据读取能力的改进跟不上数据传输速度14:3210/49数据传输和磁盘读取的比较•1990/磁盘存储量1,370MB/数据传输速度4.4MB/s/磁盘读取时间5min•2011/磁盘存储量1terabyte/数据传输速度100MB/s/磁盘读取时间165min–1T数据需要1000000/(100*60)=165min年代磁盘存储数据传输磁盘读取量速度时间19901,370MB4.4MB/s5min20111T100MB/s165min14:3211/49数据堆成山发现知识难–如今

5、信息世界，数据大爆炸–面向应用，各自为阵，烟囱林立–缺乏为决策提供知识的一个完整服务体系14:3212/49例子：某单位的困境•对现网数据进行分析，满足服务提供商的动态查询要求•数据情况是：7个服务点同时数据输出，5分钟720M，每天1.5T数据(0.72G*12*7*24=1.5T)•对现网数据话单，按样式制造T量级的海量数据进行测试，时间需要离散性。•按现场现状，每天1.5T，按保留7天原始数据(10T)要求，并对其进行分析14:3213/49数据样本14:3214/49数据说明14:3215/49查询要求14:3216/49分析•增长迅速，数据量大–1.5T的数据

6、量，7天10T的分析量•一次写入，多次查询–来自DataCenter的现网CDR流数据•分析为主，动态模型–面向服务的分析，包括统计和Adhoc查询•总结：不适合RDBMS，应该采用Hadoop技术，结合Hive等数据仓库分析工具，14:3217/49搭建Hadoop实验环境•1PCserverasNamenode–Processor：8-coreCPUs;–Memory：16GBRAM;–Storage：4TBSATAdisks;10PCasDatanodeProcessor：4-coreCPUs;Memory：4GBRAM;Storage：1TBSATAdi

7、sks;Network：GigabitEthernet14:3218/49将现网数据导入HDFS•Stream->HDFS14:3219/49MapReduce分析•确定相应的键/值对(KeyValue)•例如：某时的AppClass与SendPkg分析14:3220/49MapReduceModel•MapReduceFlow•...QQTC20120613112720120613113210140...117710229...•...SNTP20120613113120120613113210140...11771027...•..