大数据与云计算.pptx

《大数据与云计算.pptx》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、大数据与云计算:--信息技术发展的新纪元大纲大数据与云计算云计算大数据平台与技术创新大数据平台产业化与应用案例什么是大数据对数据的使用者来讲，如果数据集超出了使用者所拥有的信息处理和分析的能力，就给使用者带来了大数据问题大数据V特征Volume数据规模大Velocity数据变化数据快Variety数据属性复杂Value价值大数据的特点并不只是数据规模大数据的量呈现指数增长2009年至2020年将增加44倍数据的体量从0.8zettabytes增加到35ZB生成和采集的数据将按指数增长根据麦肯锡预计美国超过1000雇员的公司，平均每

2、个公司存有200TB的数据，很多行业的公司，如银行、电讯、互联网、政府部门等，平均存储的数据超过1个PB。大数据的多样性Variety不同的数据格式，数据类型和数据结构文本、数字、图像、音频、视频、时间序列、社会媒体数据、高维矩阵数据等静态数据vs.流数据同一个应用可以生成和采集不同类型的数据为了提取知识尽可能多地综合不同类型的相关数据大数据的速度Velocity数据的采集速度的加快导致处理时间都需要有相应的提高在线数据分析(OnlineDataAnalytics)决策的延误商机的消失实例网上营销(E-Promotions):基

3、于用户当前的位置和过往的交易数据预测用户的喜好在合适的时间和地点发送用户感兴趣的产品和店铺健康监控(Healthcaremonitoring):利用穿戴式的传感器监控用户的生理和活动数据及时提供需要的医疗服务大数据的价值(Value)未来大数据的产业规模将会至少以万亿美元来进行衡量，大数据将会给信息技术领域带来一个新的增长点。美国医疗保健每年产值达3000亿美金每年生产率增长约0.7%制造业最多可节省50%的产品研发、组装成本最多可节约7%的营运资金美国零售业净利率增长可能高达60%+每年生产率增长0.5-1.0%欧洲公共部门管

4、理每年2500亿欧元每年生产率增长约0.7%全球个人定位数据1000亿+的服务供应商收入为终端用户带来高达7000亿美的价值大数据的产生数据的发展和创新将不再是如何生成和采集数据具备对采集的数据进行管理、分析、总结、可视化展示和知识发现的能力已经成为新的挑战社会媒体网络(每个人都在产生数据)科学仪器(采集不同类型的数据)移动终端(个人地理信息数据)传感器网络(测量不同类型的数据)大数据的技术挑战存储–分布式、低成本传输–能力、成本处理–集成、融合、处理分析–能力、效率挖掘–方法、能力、技术、平台应用能耗互联网与电讯行业需求某互联网公

5、司100多在线游戏，4亿在线游戏用户在线系统记录每个游戏用户在线玩游戏的详细数据，包括游戏、时间、动作、结果等，TB级数据分析需求：用户行分类与预测，用户行为客户群划分用户挽留、用户奖励和级别提升某电信公司深度包检测（DPI）大数据分析，研究客户互联网行为模型，流量分析，数据套餐设计百万人口城市，每天数据量TB级云计算云计算是一种新的大规模分布式计算模式通过网络和资源虚拟技术，实现计算及存储资源集中管理，面向用户提供服务云计算可以解决目前计算机使用的诸多问题，是计算技术发展的一个新的里程碑2021/8/512传统计算机的问题使用成本

6、高资源分散资源不足资源浪费高能耗环境污染云计算的优点成本低易于普及可扩展能力高节能环保云计算的五个基本特征按需自助服务（On-demandself-service）广泛的网络接入（Broadnetworkaccess）资源池（Resourcepooling）快速弹性化（Rapidelasticity）可度量的服务（MeasuredService）2021/8/513云环境（ACloud）云指的是一个遥远的计算环境，这个环境是用来为计算环境外的用户提供可扩展和可度量的计算资源。用户可能不知道具体的云环境在哪里。如用户在深圳，云环境可能

7、在内蒙古。2021/8/514云环境的计算资源物理服务器—CPU,内存,外存（磁盘、磁带）虚拟服务器—CPU,内存,外存软件服务（应用）2021/8/515物理服务器虚拟服务器软件服务虚拟化是云计算的核心技术虚拟化技术可以将一个物理服务器当作多个虚拟服务器使用，多个用户共享物理服务器的资源，但用户对虚拟服务器的体验是独立的计算机。用户不需要了解物理服务器虚拟服务器的运行由物理服务器统一管理和维护，虚拟机用户不需要维护。当某虚拟机用户需求变化时，物理服务器的资源可以自动扩展。2021/8/516弹性化和可扩展性弹性化是云计算的重要特征

8、，计算资源弹性化可以使云环境的计算能力随着用户需求变化而增加或减少。水平扩展向外扩展Scaleout—增加资源向内收缩Scalein—减少资源垂直扩展向上扩展Scaleup—提升CPU和内存向下收缩Scaledown–降低CPU和内存