大华云存储技术白皮书

《大华云存储技术白皮书》由会员上传分享，免费在线阅读，更多相关内容在应用文档-天天文库。

1、大华云存储技术白皮书云计算产品线2014年7月目录目录2第一章概述41.背景42.设计思想43.系统架构5第二章关键技术71.负载自动均衡技术72.高速并发访问技术73.高可靠性保证技术84.高可用技术8第三章分布式文件系统设计81.数据存储功能92.海量存储能力103.统一命名空间管理104.节点间数据冗余115.数据恢复机制126.元数据管理的高可用性保障137.存储服务的高可用性保障148.动态负载均衡149.在线扩容1510.磁盘热插拔和漂移1511.高速并发访问15第四章客户端接口设计16

2、1.基础SDK162.流媒体SDK(可扩展)173.RESTful接口(可扩展)174.Posix接口(可扩展)175.NFS/CIFS接口(可扩展)18第五章运维管理系统设计191.设备管理192.系统监控193.系统维护204.告警日志215.故障处理22第一章概述1.背景随着平安城市建设的升级，智慧城市建设的兴起，视频监控高清化开始普及，视频图像信息的深度应用成为行业的趋势，如何有效存储和高效使用海量监控数据成为了新的课题。传统大型监控系统主要采用以下两种模式来实现数据存储与使用：存储服务器+

3、IPSAN；NVR为代表的嵌入式存储设备。这两种方式都存在扩展困难，可靠性低，数据无法充分共享等弱点。针对这些问题，有必要将IT云存储技术引入到监控领域。云存储解决方案采用全新的设计理念，可从成本、容量、空间可扩展性、服务可用性、数据可靠性、接口通用性等多个维度提升监控存储的质量。由于这些明显的优势，云存储将成为未来平安城市、智慧城市系统的基石，有效的支持原始视频存储、卡口图片存储，视频图像信息库等数据集中存储与共享业务，以及智能实战系统，警务政务综合系统，大型数据挖掘系统等数据分析业务，成为便捷、

4、统一管理和高效应用的大数据基础平台。2.设计思想大华云存储解决方案采用业界领先的云存储架构思想，在系统架构和设计上，充分考虑大规模集群环境下软硬件发生故障的现实，采用先进的管理思想和软件系统，实现对大量普通存储服务器存储空间资源进行虚拟化整合，实现软硬件故障高度容错，搭建高度稳定可靠的存储集群。系统将控制流与数据流分离，以及充分优化元数据节点控制系统，使得系统具备极高的性能和良好的线性扩展能力。系统整体为应用提供统一命名空间，使得系统具备极好的数据共享能力。系统将负载均衡到集群内的各节点上，充分利用

5、集群各节点性能，以获得很好的性能聚合能力以及保证了系统的稳定。集群采用高度灵活自组网技术，提供简易部署和维护功能。系统在数据可靠方面，采用智能冗余重建技术，保证较高磁盘利用率的前提下，提供最佳冗余策略。另外，系统在节点软硬件故障容错方面，也进行充分考虑，具备屏蔽所有可屏蔽错误能力。1.系统架构在本次系统建设中，云存储系统属于基础平台支撑层，以用于数据集中存储和共享，实现对数据的统一管理和高效应用。将数据逻辑集中物理分散，以提供多并发高吞吐带宽，最大程度降低系统访问瓶颈。云存储系统采用分布式的存储机制

6、，将数据分散存储在多台独立的存储服务器上。它采用包括元数据管理服务器（MetadataServer）、数据存储节点服务器（DataNode）和客户端以及运维管理服务器的结构构成海量云存储系统。在每个服务器节点上运行云存储系统的相应软件服务程序模块。云存储系统从功能上划份为三大部分：1)分布式文件系统分布式文件系统实现文件数据存储、可靠性容错、可伸缩性保证、高可用保证、负载均衡和流量分担等功能。2)存储访问接口提供高性能专用的API接口，支持云业务应用层程序对云存储系统的高性能直接访问。3)运维管理平

7、台运维管理平台提供设备管理、系统监控、告警管理、故障管理等功能。系统架构框图如下图所示。其中，元数据服务器集群保存系统的元数据，负责对整个文件系统的管理，MetadataServer在逻辑上只有一个，但采用主备双机热备集群方式，保证系统的不间断服务；智能存储服务器(DataNode)负责具体的数据存储工作，数据以文件的形式存储在DataNode上，DataNode的个数可以有多个，它的数目直接决定了云存储系统的规模；客户端对外提供数据存储和访问服务的接口，为云业务平台提供云存储系统的访问能力。整个方

8、案的软件架构图如下：系统包含四个层次功能，来满足最终用户、系统管理员、运营人员的日常操作需求：u资源层：基于单个存储节点，管理本地的硬盘，文件和数据块。²硬盘热插拔：管理节点内的硬盘动态增加和删除，和存储管理层同步硬盘内的文件信息。²硬盘漂移：当节点故障时，支持把节点上的硬盘取下来放到新的存储设备上，快速恢复数据。²本地文件系统：对操作系统自带的本地文件系统进行调优，作为数据存储的基础。²对象数据块管理：对象存储到节点后，会形成多个数据块。u管理层：提供单个集群和多域