华为云计算与大数据

《华为云计算与大数据》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、一、华为云计算二、华为的大数据处理目录2021/7/212华为云战略定位华为云定位于运营商和企业的云服务市场，提供私有云、公有云和混合云解决方案，构建华为“云管端”整体ICT（informationandcommunicationstechnology）解决方案，面向企业、电信运营商和消费者3大业务领域客户。华为云计算云计算是商业模式和技术理念的统一2021/7/213云服务-“按需取用”的商业模式+云平台-分布式和并行软件系统华为云计算华为云计算落地的两个方面2021/7/214云计算落地方案华为云计算华为云

2、平台IDC整体视图2021/7/215云服务云平台华为云计算华为提出的支持智能城市的云平台架构2021/7/216华为云计算华为提供端到端云解决方案2021/7/217华为云计算绿色高效的云机房建设2021/7/218华为云计算提供系列化云硬件平台产品2021/7/219华为云计算提供云操作系统2021/7/2110华为云计算华为桌面云即SingleCLOUD指“1个平台+N种应用”的安全解决方案。1个平台即SingleCLOUD，将软件与某一个具体的服务器分离，这样，所有的软件共享所有的硬件资源，实现“软件与

3、硬件的解耦”，实现真正的云计算。SingleCLOUD云平台，支持“百万级服务器集群、百万T的存储能力、百T级网络互连能力”，支撑海量信息的计算和存储，并通过“Zero-Touch的自动管控”，大大降低运维成本。采用业界主流高性能桌面协议(ICA)提供桌面云规划设计、部署、验证等系列服务和工具。2021/7/2111华为云计算一、华为云计算二、华为的大数据处理目录2021/7/2113华为认为的大数据挑战华为提出了大数据整体架构，并总结出当前面临6方面挑战：云存储、大数据技术、E2E的媒体云、虚拟桌面、HTML

4、5和高性能计算（HPC）。华为的大数据处理华为大数据整体架构2021/7/2114华为的大数据处理大数据应用领域视频转码3D渲染金融领域计算天气预测风洞计算地质模拟数据挖掘仿真…2021/7/2115华为的大数据处理云存储-需求和挑战存储海量数据，并提供服务是云存储的主要需求和挑战。在公有云领域，云存储的主要需求为：低成本和海量伸缩性、存储的内容为海量的结构化、半结构化数据。其存储方案一般都采用廉价的x86存储服务器和分布式存储软件（GFS、Dynamo）。在企业存储市场，以SAN和NAS为主流的存储方案，一般

5、采用双控制器的专用存储硬件。公有云和企业存储存在很大差异：现有公有云存储虽然在系统的伸缩性方面取得突破，但却牺牲一些传统存储的关键特性，如不支持POSIX接口、不适合大量随机小IO、不适合强一致性等要求；企业存储系统如果作为云存储平台，其容量、可靠性、性能将无法支撑。2021/7/2116华为的大数据处理-核心技术华为为公有云和私有云市场构建统一的云存储解决方案(以分布式存储为主，也可结合虚拟化存储)，由三个层面构成：存储硬件层、存储平台层和存储服务层。存储平台层是一套基于DHT的分布式Key-Value存储系

6、统，将大规模的存储设备资源聚合成一个具有统一视图的、海量的存储空间。存储服务层基于平台层提供的Key-Value接口，提供多种类型的存储服务和接口协议，并提供存储服务所需的访问安全机制。存储硬件层可以是通用的存储服务器，也可以是定制优化的专用硬件。华为云存储解决方案实现了多种存储服务的融合和统一。多种存储服务可以采用一致的接口访问存储引擎，实现存储容量、IO的共享，同时为各存储服务提供不同的QoS。华为云存储解决方案在架构上考虑了如下要素：（1）海量的可扩展性；（2）自组织自管理；（3）强一致性；（4）高性能的

7、块存储服务；（5）定制优化的低成本、高密度存储硬件2021/7/2117华为云存储解决方案华为的大数据处理-核心技术大数据处理技术的趋势与挑战当前大数据表现为如下两方面主要特征：(1)大数据量十T级是入门，百T级PB级已非常常见；(2)响应速度数据产生的速度越来越快，对于数据中蕴含信息的提取，以及对于提取信息的反馈，要求越来越快。由于在数据量和响应速度两个维度的交织，给大数据的处理带来很大的困难。在过去五到十年，两类技术已经发展起来，针对性地解决上述两个的挑战。发源于金融自动交易系统的复杂事件处理（CEP）技术

8、，经过美国若干大学领先团队的研究及创业公司的工程优化，已走向实用，数百万每秒事件的处理，在工程上成为可能。随着互联网点击流实时处理以及微博等业务的出现，流处理系统发展为分布式系统。雅虎和Twitter都开源了其流处理系统，这进一步推动了大规模流处理系统的应用。发源于谷歌的开源系统Hadoop，随着众多公司的加入，已形成大数据处理的事实标准。来自数据源的原始数据，以及经过流处理再生成的结