资源描述:
《云边端一体化发展报告》由会员上传分享,免费在线阅读,更多相关内容在行业资料-天天文库。
云边端一体化发展报告(2022年)
1前言我国“十四五”规划中明确提出要“协同发展云服务与边缘计算服务”,国务院《“十四五”数字经济发展规划》同时指出要“加强面向特定场景的边缘计算能力”。我国云计算进入惠普发展期,边缘计算需求激增,云边端一体化成为未来重要演进方向。中国信息通信研究院云边协同产业方阵前期相继发布《云计算与边缘计算协同九大应用场景》和《云边协同关键技术态势研究报告》,从应用和技术维度全面阐述云边协同发展态势。随着5G、AIoT、企业数字化转型等快速发展,“云边协同”正在向“云边端一体化”演进,内涵不断扩展延伸。本报告以《云边端一体化发展》为主题,全面阐述云边端一体化发展内涵、当前挑战、发展展望及创新实践,为云边端一体化技术创新和应用落地提供参考。
2目录一、云边端一体化发展概述1二、云边端一体化发展内涵2(一)云边端资源一体化,提供资源统一管理和使用方式3(二)云边端运维一体化,大幅减少边端部署运维复杂度4(三)云边端数据一体化,加速释放数据要素价值6(四)云边端应用一体化,帮助构建敏捷弹性分布式应用8(五)云边端调度一体化,实现业务体验与资源利用最优平衡9(六)云边端安全一体化,构筑立体化安全防护能力11三、云边端一体化创新实践场景12四、云边端一体化发展挑战16(一)云边端大规模节点管理稳定性和性能仍有不足16(二)云边端分布式算力调度复杂性仍较大17(三)云边端分布式数据管理能力有待提升17(四)云边端一体化安全防护体系尚需构建17(五)云边端技术和应用落地缺乏标准化指引18五、云边端一体化发展展望19(一)云边端一体化驱动数据处理向边端扩散,推动算力泛在化发展19(二)云边端一体化构建新型数字基础设施操作系统,赋能企业数字化转型19
3一、云边端一体化发展概述在我国“十四五”规划中数字经济重点产业物联网专栏中,提出要“协同发展云服务与边缘计算服务”。过去几年,我国云计算呈现高速增长态势,根据中国信息通信研究院《云计算白皮书(2021)》数据,2020年我国云计算整体市场规模达2091亿元,企业“上云用云”进程加快;物联网发展进入快车道,根据中国信通院预测,到2025年我国物联网连接数将达到80.1亿个,万物互联将进一步释放数据驱动力,推动各行业数字化转型发展。云边端一体化成为重要发展趋势。一方面,随着5G、物联网、工业互联网等产业规模化落地,集中式云计算已无法满足在网络时延、带宽成本、数据安全、业务敏捷等方面需求,大型政企在“上云用云”过程中,为满足分支机构业务场景多样化需求,区域云、边缘云等部署模式开始发展,云边端一体化企业IT平台屏蔽底层分布式异构资源,向上提供应用统一运行环境,实现设备统一管理、业务敏捷部署、时延带宽成本降低、数据安全存储。另一方面,在物联网落地过程中,物联网平台层面临海量设备接入、边端资源异构、网络通信不稳定、统一运维管理复杂、安全风险控制难度高等主要挑战,基于云边端一体化的物联网平台实现向下屏蔽物联网应用所涉及的云平台、边缘计算平台、泛在网络、终端等海量异构资源的复杂性和差异性,向上为智能物联网场景化应用开发、部署、托管提供全生命周期支撑,赋能物联网产业规模化发展。
4二、云边端一体化发展内涵业务需求。云边端一体化旨在屏蔽云、边、端分布式异构基础设施资源,提供统一视角资源管理和使用,实现数据自由流通、业务应用统一运行环境,构建立体化安全保障能力,满足多样化、实时敏捷、安全可靠图1云边端一体化内涵
5(一)云边端资源一体化,提供资源统一管理和使用方式云边端资源一体化是指通过整合和抽象分布广泛、资源异构、形态多样、协议不同的边缘节点、终端设备,实现云边端分布式资源统一视角管理和使用。在中国信通院云边协同产业方阵2021撰写的《云边协同关键技术态势研究报告》中提到,云边协同全局管理平台可以对边缘计算平台统一纳管,并在资源、数据、应用等方面实现云边协同统一管理。但步入IoT时代,海量终端设备的多样性、通信协议复杂性为全局管理平台带来更大复杂性,推动云边协同全局管理平台向新型“云边端全局管理平台”演进。图2云边协同全局管理
6图3云边端全局管理产业界不断探索实现云边端统一资源管理的技术方案,其中之一便是通过边缘容器实现对边缘节点的统一管理,同时建立云原生IoT物模型,对接不同的物联网边缘平台,拓展边缘容器对设备统一管理能力,将设备信息统一映射到中心云,进而实现云边端统一资源管理。例如OpenYurt与EdgeXFoundry合作通过抽象DeviceProfile、DeviceService、Device三种CRD模型拓展设备管理能力;KubeEdge通过建立DMI(DeviceManagementInterface)优化原先DeviceTwin流程,实现对接多种边缘计算平台框架。(二)云边端运维一体化,大幅减少边端部署运维复杂度边缘节点、终端设备因其位置分散、网络环境复杂等,常常面临
7边侧网络断连、设备离线等挑战,云边端运维一体化是指在资源一体化基础上,能够实现对云、边、端分布式资源统一监控、运维,实现统一视角运维能力,最大程度简化用户操作。与集中式中心云运维相比,边缘节点和终端设备的资源异构性、网络环境复杂性增加了一体化运维难度,不仅要实现中心云对边缘节点、终端设备的状态进行远程监控运维,还需要构建分层分域的本地运维平台,以适应网络条件不稳定时,不同地理位置仍可以进行运维操作,构建云边端一体化的智能运维系统成为重要保障力量。图4云边端全局运维在运维通道方面,通过建立稳定、安全的云边运维通道,实现中心云能够远程对边缘节点进行监控、告警、配置等操作,边缘平台定期对设备进行主动探测,确保设备连接正常;在本地运维方面,在云端统一运维平台基础之上,构建边缘集群本地运维平台,实现本地运维自治,并与云端运维形成协同联动;在系统部署方面,构建自动化
8部署能力,实现边缘节点自动化启动配置、数据加载、应用激活等能力,简化手工操作;在智能化运维方面,融合AI能力实现边缘节点、终端设备智能化的巡检、告警、升级、治理等能力,有效降低成本。(三)云边端数据一体化,加速释放数据要素价值云边端数据一体化是指在构建分布式数据采集、处理、汇聚、分析、存储、管理等全环节能力,实现业务生产数据、企业经营和运营管理数据、第三方数据的统一汇聚和分析,并构建多方位数据协同管理体系,打破原有的数据孤岛,发挥数据要素价值。目前,云边端数据在采集、处理、传输等环节仍面临诸多挑战,例如在制造业,面临工业生产设备缺失统一数据标准、采集数据不完整(质量缺少保障)、生产车间网络协议多样化和复杂化等挑战,大量现场数据没有被挖掘分析,通过部署边缘节点,促进IT和OT融合,实现生产数据实时采集、处理、分析,有效反映企业生产运行状况,针对性提高生产效率。
9图5云边端分布式数据管理基于云边端一体化的分布式数据管理技术实现数据的全生命周期管理,释放数据价值。在终端侧,传感器、物联设备实现业务现场生产运行等各类数据源全面感知采集;在边缘侧,边缘网关、物联网边缘计算平台通过数据协议转换、边缘流式数据处理、边缘时序数据库等技术,实现异构数据接入、边缘处理、边缘存储、数据转发;在中心云,统一接入和汇聚设备生产、经营管理、第三方数据等,结合大数据管理、人工智能训练、可视化展示、数据安全等技术,构建生产、运营、运维等数据统一汇聚集成、大规模存储、智能分析等协同体系,有效提升数据应用水平和能力。
10(四)云边端应用一体化,帮助构建敏捷弹性分布式应用在云边端一体化发展下,应用不再局限运行于中心云单一资源池,跨云、边、端的分布式应用成为趋势,云边端应用一体化是指构建跨性敏捷的分布式应用。在云边协同架构下,业界普遍以容器方式在边缘部署应用,通过“云边管控、边缘运行”的方式实现应用的管理。但随着边缘节点部署数量增加,业务多样化发展,单一云边集群难以满足所有业务需求,跨地理位置、跨网络环境的多集群统一管理、大规模应用部署、镜像分发加速、统一研发运营等成为需要。云边端的分布式应用统一开发、部署、调度、管理能力,帮助构建弹图6云边端分布式应用管理通过构建云边端统一应用平台,借助分布式云容器技术,能够实现跨云边端的分布式应用统一管理。在应用部署方面,通过云边容器
11平台实现应用按需在不同位置、网络环境独立部署;在多集群管理方面,通过对云边不同地理位置和网络环境的集群统一安全连接,实现多集群的统一管理;在应用管理方面,通过配置编排模版、部署策略(地理亲和性/反亲和性等)、调度策略(资源池、健康状态等)、镜像加速(缓存、P2P等)、数据迁移等,实现跨云边端集群的应用统一管理;在服务流量治理方面,通过云边容器网络互联互通、跨云边集群服务发现、服务智能路由(位置、时延、网络质量等)、流量管理(流量切换、限流、降级、负载均衡等),实现服务统一治理;在运维方面,通过统一监控告警、全链路追踪、自动化运维等技术,保障应用稳定可靠。(五)云边端调度一体化,实现业务体验与资源利用最优平衡云边端调度一体化是指通过云边端分布式的资源、流量、应用等方面统一全局调度管理,最大化提升业务体验,提升资源使用效率。例如在音视频场景,服务种类、时延要求、服务质量要求各异,如何在成本可控的范围内,实现用户最优体验,成为调度系统重要任务。但由于业务多样性,调度系统通常需要与实际业务结合,设计指标一般包含资源使用、地理位置、时延要求、带宽成本、服务SLA、数据存储、专用硬件偏好(例如GPU、FPGA)等方面,学术、产业、开源等各方开始探索基于云边端一体化的资源、业务、流量、任务等调度实践优化。
12图7云边端全局调度在资源调度方面,通过构建全局资源监测平台,实时监测云边资源使用情况;通过全局及本地资源弹性伸缩管理,实现资源在单个边缘集群或跨云边集群弹性伸缩和负载迁移;通过设计调度算法和策略配置,例如根据资源量、时延、位置、成本等指标,实现资源智能化调度;在流量调度方面,结合业务特点,预先进行业务流量预测,对云边计算、网络带宽等进行拆分和规划(例如建立专用通道);针对流量接入、回源等方面需求,根据位置、成本等因素,实现流量动态接入和调节;在应用调度方面,通过感知业务特定需求(资源硬件、性能指标等),建立应用模型和资源模型,实现应用迁移、弹性扩展等。
13(六)云边端安全一体化,构筑立体化安全防护能力云边协同安全防护体系在《云边协同关键技术态势研究报告(2021年)》里有所描述,边缘节点安全保障主要包括边缘节点安全、网络安全、数据安全、应用安全、协同安全等方面,实现云边协同安全防护体系。但引入设备终端之后,存在异构设备接入、边缘数据汇聚等,云边协同现有安全体系无法覆盖边端安全。与集中式云资源相比,边缘节点、设备终端部署环境复杂多样,并且单个边缘节点、设备受限于资源和成本,安全部署能力较弱,集中式安全防护边界不断延伸,云边端安全一体化旨在基于云边端各节点独立安全防护能力基础之上,构建立体化的安全能力。图8边缘节点安全框架
14图9云边端一体化安全在云边端一体化安全方面,基于边缘节点安全能力基础之上,通过安全芯片和加密(PUF)、设备身份标识等技术手段保障设备安全;在设备和边缘节点之间,通过双向身份认证有效保障设备接入安全性,通过边端安全协议、数据传输加密、完整性校验保障数据安全性;在云端,实现中心云对设备的统一安全监控、态势感知,构建云边端一体化安全防护体系。三、云边端一体化创新实践场景云边端一体化技术架构已逐步在企业数字化转型、创新业务等场景落地,支撑行业创新发展。
15专栏1招商外运E拼云边融合平台项目E拼核心系统是在2014年完成建设,随着业务快速增长,每天在线会话数达4万余,系统所承受的负载压力加大,技术架构已无法满足业务持续发展的需要,需要采用新技术框架,对前端进行国际化、对应用层进行微服务化、对业务层进行流程可视化、对数据层进行垂直切割,提升系统整体抗压能力和支持业务的快速增长。招商外运通过建设云边一体化云原生平台,以容器方式纳管边缘节点,提供将云上应用延伸到边缘的能力,具备边缘异构资源接入、边缘节点自治、云管边架构、实时数据处理等能力,将运营管理服务集中运行在中心云,仓库实时作业运行在现场边缘云,实现统一集中管控和分布式运行的需求。E拼平台的搭建以系统作为发起点,实现产品重构、业务管控、组织融合,加速业务标准化,整合出口拼箱、进口拆箱、买家集运、跨境电商等服务,提升用户操作的体验感和效率。专栏2浪潮智能工厂云边端一体化基础设施建设
16浪潮5G智能工厂采用云边端一体化的全新技术架构,5G端计算网关为巡检机器人提供更大上行带宽的无线连接,在车间现场边缘侧部署地图共享、路线规划、调度管理等应用能力,实现巡检机器人的远程控制和调度,同时巡检机器人搭载高清摄像头,通过无线网络回传实时高清巡检画面、设备信息等数据,部署在云端系统通过对采集到的数据进行人工智能分析,判断熟化车间内设备是否存在异常。通过建设了云边端一体化5G基础设施,智能工厂面向用户需求实现了网络下单、定制设计、柔性生产和全流程智能化控制,个性化深度定制研发周期从18个月缩短至3-9个月。专栏3海尔中德家电制造工业园区云边端架构海尔中德家电制造工业园区依托5G边缘计算平台实现数据融合、资源调度和通用算法的敏捷调用,为工业应用场景提供云边协同一体化解决方案。在安防方面,在云端部署人车分流、岗位识别、算法,终端采集视频流回传到MEC根据不同应用场景实现视频识别分析检测,实现园区安全的平台化管理;在能耗管理方面,边缘测搭建能耗管理平台,将工厂水、电、气、各类能源消耗数据通过工业网关实时采集,上传至能源数据管理平台,实现各类能耗数据动态监控,实时监测预警,提供能耗用量优化方案,实现智能化集中管控;在视觉质检,通过在生产线或巡检
17机器人部署工业相机,采集图像视频上传到云端,结合5G大带宽、低时延的特点和机器视觉技术进行智能化监控与分析,实时生成质检报告,确定不合格产品位置。专栏4基于云边端一体化的云游戏解决方案云游戏是一种以云计算为基础的在线游戏技术,通过云端资源完成游戏内容的存储、计算和渲染,并将渲染完毕后的游戏画面或指令压缩后通过网络传送给用户,脱离终端限制,当前云游戏面临着运营成本高、业务时延高、资源利用率低等一系列问题。在云端通过基于x86+GPU服务器的架构或ARM+GPU的服务器架构,为云游戏所需的大规模图形渲染提供算力资源;在边缘侧,由“集中”的机房迁移到网络接入边缘,创造出具备高性能、低延时与高带宽的服务环境,减小游戏画面传输过程中的延时和网络带宽资源的使用;在终端侧,主要担负游戏画面展示和行为采集的任务;在协同编排方面,通过多云管理对云、边、端等分布式算力进行统一的纳管,实现跨层的多样化算力资源的编排与调度。专栏5某云边端一体化视频监控平台
18某大型企业视频监控平台将摄像头视频流分散汇聚到就近的服务站点进行存储和管理,形成分散建设的的视频数据孤岛,且数据用途单一没有形成价值数据对外开放。该企业通过改造现有视频监控平台,实现端侧设备视频源采集,各个边缘侧节点实现低延时视频接入、高可靠存储、本地智能推理,中心云统一进行视频汇聚存储、算法模型训练部署等,建设云边端一体化的视联监控平台。通过建设云边端一体化视频监控平台,有效提升边缘图像和视频识别能力,降低传输成本,并连接全域视频数据,将静态数据盘活,不断优化算法模型,充分发挥了视频数据的价值。,四、云边端一体化发展挑战(一)云边端大规模节点管理稳定性和性能仍有不足在稳定性方面,全局管理平台虽然通过容器等方式实现对边缘节点、终端设备统一管理,但由于云边端节点通常所处网络环境复杂、终端设备多样性等挑战,在跨网络环境、跨地理位置条件下大规模节点管理仍缺乏稳定性,在云边/边边通信、数据同步、边缘自治、IoT设备管理等方面技术能力仍需补强。在性能方面,大规模节点之间数据实时传输、控制指令实效下发、大规模应用快速分发部署存在挑战,亟需测试验证方法和工具。
19(二)云边端分布式算力调度复杂性仍较大由于云、边、端三者资源规模不同、位置分散,业务应用对时延、性能、服务质量、成本等方面需求各异,如何实现统一云边端算力资源调度,在保障用户体验的同时最大化提升资源利用率,成为主要挑战。虽然目前业界从资源、流量、数据、应用、算法等不同纬度探索云边端资源优化调度,但在实际业务场景下,由于业务多样性和复杂性,接入延时、流量迁移、实时监控等方面仍具备优化提升空间。(三)云边端分布式数据管理能力有待提升在数据接入方面,实际业务通常存在海量多源异构数据,在工业等细分领域现场存在大量异构设备和协议,数据管理平台在设备接入(边缘异构协议适配等)、数据处理(实时智能分析等)、数据传输(云边网络不稳定导致数据丢包等)、数据质量(完整性、分布式传输防篡改等)、云端数据管理(统一元数据管理、监控等)等方面仍需加强。在数据赋能方面,如何实现将生产/现场数据与企业经营管理、服务等数据深度融合,打破现有各个系统数据割裂状态,实现业务数据共享流通,仍面临挑战。(四)云边端一体化安全防护体系尚需构建云边端分布式架构下的安全防护,一方面如前文所描述,需要加强边缘节点、终端设备的安全能力,例如设备物理安全、边缘节点安
20全(基础设施、数据、通信等),但由于实际业务场景、预算成本等方面要求多样化,很难通过统一安全方案部署解决各类业务需求。另一方面,云边端一体化架构下,如何动态实现安全风险最小化尤为重要,探索云端如何实现统一安全管理、快速识别边端侧入侵攻击行为,实现快速防御、及时阻断恶意流量等,成为解决安全风险有效之道。(五)云边端技术和应用落地缺乏标准化指引在技术标准方面,边缘计算作为云边端一体化重要连接枢纽,目前大部分边缘计算节点异构严重,在开放接口、数据格式、传输协议、网络接入等方面各厂商差异性较大,缺乏标准化方式实现统一管理。此外,云边端在资源、数据、应用、调度等协同方面也缺乏统一技术标准和方案,阻碍云边端一体化进程。在应用标准方面,一方面大部分企业尚处于加速“上云用云”阶段,在引入边缘计算架构,系统整体复杂度提升,如何与现有IT基础设施融合,实现数据流通、业务协同,仍面临诸多挑战,缺乏相关企业应用成熟度相关标准,缺少指引。另一方面,不同行业场景对边缘计算部署要求不一,如工业、园区、矿山等各业务现场对数据采集、管理模式、边缘AI算法、带宽、时延、成本等要求各异,目前尚未建立各细分领域的标准参照体系,以满足不同行业的定制需求,往往需要应用不同的解决方案进行大量重复验证和适配,导致投入成本高、复制推广效果差等问题。
21五、云边端一体化发展展望(一)云边端一体化驱动数据处理向边端扩散,推动算力泛在化发展随着数字经济的蓬勃发展,海量数据的处理与分析需要强有力的算力提供支撑,算力成为推动数字经济持续快速发展的核心生产力。根据中国信息通信研究院数据显示,2020年我国数字经济规模39.2万亿元,占GDP38.6;2020年我国算力总规模达到135EFlops,全球占比约31,保持55的高速增长,算力重要性日益凸显。目前海量分散的数据处理场景,集中式数据中心进行算力处理在计算时延、带宽成本等方面无法满足超高清视频、车联网、工业互联网等场景需求,距离用户不同地理位置、资源规模的算力,呈现云边端三级架构,推动算力泛在化部署发展。云端负责统一管理和大规模集中式计算,边缘进行数据敏捷接入和实时计算,终端实现泛在感知和本地智能,通过云边端一体化的算力资源管理、智能调度,实现低时延、成本可控的算力服务,满足更多行业场景对算力的需求。(二)云边端一体化构建新型数字基础设施操作系统,赋能企业数字化转型云计算、边缘计算、物联网等技术快速发展,操作系统定义不再局限于面向计算机硬件资源协调和管理,内涵不断拓展,基于云边端的新型分布式操作系统对企业数字基础设施进行高效管理、统一调
22度,成为有力支撑各行业数字化转型的重要力量。目前各行业在数字化转型中,构建在基于云边端融合架构下的应用场景较为单一,大型政企在“上云用云”过程中,为满足分支机构业务场景多样化需求,分支节点独立建设本地/边缘云基础设施,全局呈现云边端分布式部署架构,但带来资源异构、数据孤岛、统一管理复杂、应用重复开发等挑战,阻碍企业整体数字化转型进程。基于云边端一体化的新型分布式操作系统通过整合泛在接入、网络管理、云边端协同、统一调度、人工智能、数据平台、组件开发、生态开放等能力,屏蔽底层异构资源差异,对接企业内部业务系统,为业务场景提供统一应用和运营管理,将成为各行业数字化转型的基础性平台,实现对各行各业数字化转型与智能化升级的深度赋能。