海康威视视频云存储与解决与方案

《海康威视视频云存储与解决与方案》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

海康威视视频云存储解决方案V2.1.. 阅读提示一、文档类别系统应用设计方案二、适用性简述一、方案重点阐述1、方案对海康威视视频云存储系统进行了介绍，使受众能够对海康威视视频云存储解决方案有整体的了解。2、方案详细阐述了视频云存储的三种场景，针对不同的应用场景进行详细的视频云存储解决方案设计，最终可以根据实际的项目需求，形成可落地的项目软硬件配置清单。3、方案最后将视频云存储与传统集中存储进行对比，视频云存储与文件云存储对比，使受众加深对海康威视视频云存储解决方案的认识。二、方案适用性方案是以推广、应标和项目设计为目的而提供的系统解决方案，在使用此方案时需要根据具体的项目情况，进行相应内容的选择及修改，以符合实际应用。请仔细阅读第二章说明，判断实际项目应该选择云存储应用场景，明确后直接阅读第三章、第四章或第五章。三、方案受众：公司解决方案、售前相关人员以及技术人员三、关联可参考文档《视频云存储容量计算工具》《视频云存储配置清单》其他云存储相关文档：ftp://hikftp.hikvision.com:400产品资料1.股份公司8.视频云存储.. 文档控制序号修订内容修订时间修订人审核人1《海康威视视频云存储解决方案V0.8》2013.05.16赵斌王淑文汪渭春王冠2《海康威视视频云存储解决方案V1.0》2013.06.08赵斌王淑文汪渭春王冠3《海康威视视频云存储解决方案V1.1》2013.09.26汪渭春王冠4《海康威视视频云存储解决方案V2.0》2013.09.26王冠廖雄郑重5《海康威视视频云存储解决方案V2.1》增加图片直存云存储方式的描述。2014.09.26王冠6《海康威视视频云存储解决方案V2.2》增加验收内容的章节2015.03.06王冠.. .. 正文目录第一章概述81.1系统简介81.2设计原则81.3设计目标91.4术语及缩略语解释101.4.1术语解释101.4.2英文/缩略语解释11第二章总体设计152.1需求说明152.1.1功能性需求说明152.1.2非功能性需求说明162.2技术路线172.3逻辑架构182.4系统特点202.4.1高效灵活的空间管理202.4.2海量数据的快速检索212.4.3持续可靠的数据服务222.4.4高可扩展的应用支撑232.4.5开放透明的兼容系统242.5应用场景24第三章视频类云存储设计263.1系统软硬件设计263.1.1软件设计263.1.2硬件设计343.2系统物理拓扑353.3系统功能设计373.3.1视频存储功能37.. 3.3.2录像管理功能383.3.3系统管理功能383.3.4运维管理功能393.4系统业务流程393.4.1视频存储流程393.4.2视频检索流程403.4.3视频读取流程413.5系统项目设计423.5.1项目信息收集423.5.2云存储设计流程433.5.3云存储管理服务器设计443.5.4存储容量计算463.6系统软硬件总参考清单48第四章图片类云存储设计494.1系统软硬件设计494.1.1软件设计494.1.2硬件设计544.2系统物理拓扑554.3系统功能设计574.3.1图片存储功能574.3.2系统管理功能584.3.3运维管理功能584.4系统业务流程594.4.1图片存储流程594.4.2图片检索流程614.4.3图片下载流程614.5系统项目设计624.5.1项目信息收集62.. 4.5.2云存储设计流程634.5.3云存储管理服务器设计644.5.4存储容量计算664.6系统软硬件总参考清单67第五章视频、图片混合云存储设计695.1系统软硬件设计695.1.1软件设计695.1.2硬件设计775.2系统物理拓扑775.3系统功能设计795.3.1视频存储功能795.3.2录像管理功能795.3.3图像存储功能795.3.4系统管理功能805.3.5运维管理功能805.4系统业务流程805.4.1视频业务流程805.4.2图片业务流程805.5系统项目设计805.5.1项目信息收集805.5.2云存储设计流程815.5.3云存储管理服务器设计825.5.4云存储存储设备设计845.6系统软硬件总参考清单86第六章存储技术对比分析886.1.1存储技术现状886.1.2存储技术对比分析94第七章附件98.. 7.1《视频云存储容量计算工具》987.2主要硬件产品介绍987.2.1存储管理服务器987.2.2存储主机99表格目录表1视频监控云存储与传统集中存储对比表94表2视频监控云存储与文件云存储对比表96图片目录图1.云存储逻辑架构图18图2.CVM软件架构27图3.CVS软件架构29图4.CVA软件架构31图5.ASS软件架构33图6.视频云存储物理结构图36图7.视频云存储系统功能图37图8.视频存储流程40图9.视频检索流程41图10.视频读取流程42图11.管理节点双机部署方式45图12.管理节点集群部署方式46图13.CVM软件架构50图14.CVS软件架构52图15.ASS软件架构53图16.图片类云存储系统物理结构56图17.视频云存储系统功能57图18.图片直存流程60图19.图片非直存流程61图20.图片下载流程62.. 图21.管理节点双机部署方式65图22.管理节点集群部署方式66图23.CVM软件架构70图24.CVS软件架构72图25.CVA软件架构74图26.ASS软件架构76图27.视频图片混合云存储物理结构图78图28.视频云存储系统功能图79图29.管理节点双机部署方式83图30.管理节点集群部署方式84图31.CVR直连存储图90图32.视频云存储拓扑图93.. 第一章概述1.1系统简介随着视频监控系统规模越来越大，以及高清视频的大规模应用，视频监控系统中需要存储的数据和应用的复杂程度在不断提高，且视频数据需要长时间持续地保存到存储系统中，并要求随时可以调用，对存储系统的可靠性和性能等方面都提出了新的要求。在未来的复杂系统中，数据将呈现爆炸性的海量增长，提供对海量数据的快速存储及检索技术，显得尤为重要，存储系统正在成为视频监控技术未来发展的决定性因素。面对百PB级的海量存储需求，传统的SAN或NAS在容量和性能的扩展上会存在瓶颈。而云存储可以突破这些性能瓶颈，而且可以实现性能与容量的线性扩展，这对于追求高性能、高可用性的企业用户来说是一个新选择。云存储是在云计算（cloudcomputing）概念上延伸和发展出来的一个新的概念，是指通过集群应用、网格技术或分布式文件系统等功能，应用存储虚拟化技术将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的一个系统。所以云存储可以认为是配置了大容量存储设备的一个云计算系统。依据云存储的技术及功能特点，海康威视公司专门针对大容量视频数据的存储和管理以及满足视频监控领域特殊的应用需求，量身设计了一套海康威视视频云存储系统（以下文章中称为海康威视视频云存储）。1.2设计原则视频云存储系统的设计和实施主要遵循“技术先进性、应用高效性、开放兼容性”等方面的原则。1)采用前瞻性的存储技术架构采用以云存储为核心的IT技术与安防监控行业特点进行结合，进而针对性开发出具有行业属性的先进视频、图片专有云存储系统。将.. 云存储核心技术如集群化部署、资源虚拟化整合、分布式流数据存储等技术应用到本套云存储系统中。同时充分考虑安防监控行业的发展需要，该套云存储系统需要能够支撑未来大数据处理、智能分析处理等云计算技术的需要，实现云存储系统在安防监控领域的先进性和前瞻性。1)专注与应用结合的设计方式本套云存储系统是针对安防监控行业内视频数据、图片数据存储而设计的，对视频数据的具体业务应用进行详细的应用分析后，从系统底层的流数据结构的设计一直到上层的应用调度策略设计都必须站在应用的角度考虑存储。云存储系统需要明确自己作为应用的支撑这一深层次的角色定位，而不能再停留在传统存储和通用的文件云存储仅仅是数据存储的这一较低的层次认识。因此专注于视频和图片的应用是本套视频云存储系统的重要设计原则。2)提供开放和兼容的系统环境云存储系统的开放性和兼容性是需要考虑的重要原则，本套云存储系统要成为业内领先的专业存储系统，就必须要考虑到与标准应用平台的无缝对接和第三方标准存储设备的兼容性问题。本套云存储系统需要对应用平台提供统一的接口，可在不同的行业中与其应用平台进行良好的互动，对用户的应用提供优秀的数据保障。同时对于第三方标准存储设备，云存储系统应该做到良好的兼容性，以保护用户的前期投入提供一个开放、公平的系统环境。1.1设计目标海康威视视频云存储系统设计的核心目标其一是视频和图片数据在存储方面能够很好的满足用户需求；其二是为用户应用数据提供高效、稳定、快速的服务；其三是系统可以实现便捷、可靠的统一管理及运维。1)数据存储海康威视视频云存储系统实现百PB级的海量存储，突破传统的SAN或NAS在容量和性能的扩展上存在的瓶颈，实现性能与容量的线性扩展，满足用户对高性能、高可用性的需求。.. 视频云存储系统通过集群智能化部署设计，不同于传统视频存储的部署模式，系统性能全面提升，而且不再存在单机故障及性能瓶颈应用，从而实现高效实用的存储系统。1)应用服务海康威视视频云存储系统是一套贴合用户需求而设计视频云存储系统，其先天的基因中就融入了面向应用的特质，在不断发展的趋势下这种面向应用的特质会不断地为用户提供高效、灵活、可靠的专业级存储服务。2)统一管理及运维视频云存储系统具有高效灵活的空间管理能力，通过全系统分层集群的设计将系统的管理资源进行整合，并根据负载均衡算法提供全高效并发处理机制，提高了系统的整体性能。视频云存储系统内的设备和资源的运行情况进行统一监控，以标准的SNMP协议与运维服务器进行数据交互，能够非常便捷的实现系统整体运维。1.1术语及缩略语解释1.1.1术语解释云存储：是与云计算同时兴起的一个概念。云存储一般包含两个含义：1）云存储是云计算的存储部分，即虚拟化的、易于扩展的存储资源池。用户通过云计算使用存储资源池，但不是所有的云计算的存储部分都是可以分离的。2）云存储意味着存储可以作为一种服务，通过网络提供给用户，用户可以通过若干种方式来使用存储。云计算：（CloudComputing）是一种基于互联网的计算方式，通过这种方式，共享的软硬件资源和信息可以按需提供给计算机和其他设备。双机热备（双机容错）：就是对于重要的服务，使用两台服务器，互相备份，共同执行同一服务。当一台服务器出现故障时，可以由另一台服务器承担服务任务，从而在不需要人工干预的情况下，自动保证系统能持续提供服务。集群（cluster）技术：是一种较新的技术,.. 通过集群技术，可以在付出较低成本的情况下获得在性能、可靠性、灵活性方面的相对较高的收益，其任务调度则是集群系统中的核心技术。虚拟化：是指计算元件在虚拟的基础上而不是真实的基础上运行，是一种多设备虚拟整合、虚拟应用的技术；是一种简化了管理，优化资源的解决方案。负载均衡：一种分布式计算机处理技术，用来平衡电脑各部件或大型电脑、服务器各主机的资源使用率。I帧：表示关键帧，可以理解为这一帧画面的完整保留；解码时只需要本帧数据就可以完成。H.264：是MPEG-4标准所定义的最新，同时也是技术含量最高、代表最新技术水平的视频编码格式之一，H.264最具价值的部分无疑是更高的数据压缩比。720P：是美国电影电视工程师协会（SMPTE）制定的高等级高清数字电视的格式标准，有效显示格式为1280×720，P是Progressive,逐行的意思。1080P：是美国电影电视工程师协会（SMPTE）制定的高等级高清数字电视的格式标准，有效显示格式为1920×1080，P是Progressive,逐行的意思。1.1.1英文/缩略语解释AAFP：Apple公司开发的文件协议API（ApplicationProgrammingInterface），称为应用编程接口，就是软件系统不同组成部分衔接的约定。软件的规模日益庞大，常常会需要把复杂的系统划分成小的组成部分，编程接口的设计十分重要。ASSN（AsynchronousStorageServiceNode）第三方存储服务节点ASS（AsynchronousStorageService）异构存储软件CCIFS（CommonInternetFileSystem）通用Internet文件系统在windows主机之间进行网络文件共享，是通过使用微软公司自己的CIFS服务实现的。CVMN（CloudVideoManageNode）视频云存储管理节点.. CVSN（CloudVideoStorageNode）视频云存储节点CVM（CloudVideoManage）视频云存储管理软件CVN（CloudVideoNet-Snmp）视频云存储运维软件CVS（CloudVideoStorage）视频云存储软件CVA（CloudVideoAccess）视频云存储接入软件FFC协议（FibreChannel）提高硬盘协议的传输带宽，侧重于数据的快速、高效、可靠传输，FC光纤通道拥有自己的协议层。FCSAN网络介质为光纤通道，把服务器与存储设备连接起来的存储技术。FTP（FileTransferProtocol）文件传输协议，使得主机间可以共享文件。GGUI（GraphicalUserInterface图形用户接口）是指采用图形方式显示的计算机操作用户界面。HHot-Spare，当一个正在使用的磁盘发生故障后，一个空闲、加电并待机的磁盘将马上代替此故障盘，此方法就是热备。HTTP（Hypertexttransferprotocol超文本传输协议）是一种详细规定了浏览器和万维网服务器之间互相通信的规则。IIO（Input/Output）输入/输出。IP（InternetProtocol网络之间互连的协议）中文简称为“网协”，就是为计算机网络相互连接进行通信而设计的协议。IPC（IPCamera）网络摄像机名称缩写。IPSAN：是在传统IP以太网上架构一个SAN存储网络把服务器与存储设备连接起来的存储技术。IPSAN其实在FCSAN的基础上再进一步，它把SCSI协议完全封装在IP协议之中即iSCSI协议。iSCSI是一种由IBM公司研究开发的，是一个供硬件设备使用的可以在IP协议的上层运行的SCSI指令集。.. JJPEG（JointPhotographicExpertsGroup联合图像专家小组）图像压缩标准。MMibs网络中所有可能的被管理对象的集合的数据结构。NNAS（NetworkStorageTechnologies）基于标准网络协议实现数据传输。NFS（NetworkFileSystem）即网络文件系统.网络文件系统允许一个系统在网络上与他人共享目录和文件。PPB数据单位，1PB=1,024TB=1,048,576GBRRaid（RedundantArraysofIndependentDisks），中文为独立冗余磁盘阵列。RTSP（RealTimeStreamingProtocol）实时流传输协议，是TCP/IP协议体系中的一个应用层协议。SSAN（StorageAreaNetwork）集中式管理的高速存储网络，由多供应商存储系统、存储管理软件、应用程序服务器和网络硬件组成。SAS是新一代的SCSI技术，和现在流行的SerialATA（SATA）硬盘相同，都是采用串行技术以获得更高的传输速度，并通过缩短连结线改善内部空间等。SNMP（SimpleNetworkManagementProtocol）简单网络管理协议，它是一个标准的用于管理IP网络上结点的协议。SSD（SolidStateDrives）固态硬盘简称固盘，简单的说就是用固态电子存储芯片阵列而制成的硬盘。TTrap广义的trap即snmptrap，指被管理设备（代理）上报的陷阱报文，表明设备发生故障或变更的主动通知。.. TB数据单位，1TB=1,024GB=1,048,576MBTCP（TransmissionControlProtocol）传输控制协议，是一种面向连接、可靠的、基于字节流的运输层（Transportlaye）通信协议。UUDP（UserDataProtocol）用户数据报协议是与TCP相对应的协议，它是面向非连接的协议，它不与对方建立连接，而是直接就把数据包发送过去。URL（UniformResourceLocator）称为网页地址，是因特网上标准的资源的地址。WWEB广泛译作网络、互联网等技术领域。WebService是一种服务导向架构的技术,通过标准的Web协议提供服务,目的是保证不同平台的应用服务可以互操作。.. 第一章总体设计海康威视视频云存储系统是由海康威视自主研发的一套针对安防监控行业应用的专业级云存储系统。采用软硬件一体化设计，结合先进的集群化技术、虚拟化技术、离散存储技术等，通过流式文件系统对存储资源进行虚拟化和应用化整合，为用户提供高性能、高稳定、高扩展性的数据存储服务。1.1需求说明1.1.1功能性需求说明1)视频功能Ø要求视频存储系统具备7×24小时大码流视频录像、快速检索、回放和管理的功能，同时，对于视频的回放，须有相应的优化，比如I帧序列回放等。Ø检索要求支持对录像按照多种方式检索，如按照类型、标签、时间段等方式。Ø回放要求按照类型、时间、I帧、正序、倒序、倍数等方式进行回放。Ø管理要求支持删除、锁定、标注、循环覆盖（时间、空间）等方式进行管理。2)图片功能Ø要求视频存储系统支持图片的高速写入、并发下载、图片压缩、锁定、删除等功能。Ø下载要求支持按时间段和URL的方式获取图片。Ø图片压缩要求能支持按照图片尺寸、大小进行压缩。Ø提供图片直存和非直存两种解决方案，丰富图片存储的多选性。3)运维管理功能要求支持对系统的运行状态、存储使用情况进行监控，以及对软硬件异常状态报警，便于用户处理。.. 1)系统管理功能Ø要求统一服务接口，系统提供的统一的服务接口便于与应用平台进行对接。Ø要求提供统一的管理界面，通过管理界面能进行存储设备和资源的配置。1.1.1非功能性需求说明1)可靠性需求采用视频云存储技术，将网络中大量各种不同类型的存储设备通过应用软件整合起来协同工作，共同对外提供视频数据存储和业务访问。保证单个节点失效时，系统能够通过自动负载将业务调整到其他设备上以满足用户业务的持续性；并且需要能够提供数据的迁移备份，在设备故障无法快速修复时依然能够支持数据的正常读取来满足业务应用的需要。2)稳定性需求随着容量和存储设备的增加，如何保证海量数据存储的安全性和可靠性是传统视频存储面临的巨大挑战，要求存储系统具备7×24小时的不间断写入的能力。在系统运行的过程中，运行压力的持续或加大系统能够通过集群技术、虚拟化技术动态自动调整业务压力，将业务响应的压力进行分散来减少单点压力过大。3)扩展性需求云存储系统的建设在不同的阶段可能会有不同的容量要求。随着项目的不断扩大、应用的不断加强，容量将会不断扩大。那么云存储系统需要能够提供动态扩展功能，要求对在线系统增加、减少设备时业务不中断。设备一旦融入云存储系统后立即可用作为整体存储资源的一部分进行调用，在扩展存储设备时要求能够支持对接标准第三方存储设备。另外对于系统的扩展性，在动态调整具体监控区域的存储资源时要求能够做到良好的灵活性，即不但能够增加存储资源的配给，也能够减少存储资源的配给工作，充分体现出良好的扩展性。4)可用性需求云存储系统需要提高良好的可用性，将复杂的应用.. 、繁琐的操作流程简单化。对用户而言只需要使用唯一的IP地址就能够访问和管理云存储系统。用户在唯一的界面上就能够准确并安全地进行配置、部署、监控整套云存储系统，能够为用户对设备状态、资源、报警、升级、扩展，维护方面提供便捷。1)性能需求要求系统提供线性递增的性能属性，容量越大性能越强；同时提供并发响应机制，加快数据业务的处理能力。1.1技术路线海康威视视频云存储系统基于云架构进行开发，采用面向用户业务应用的设计思路，融合集群应用、负载均衡、虚拟化、云结构化、离散存储等技术，可将网络中大量各种不同类型的存储设备通过专业应用软件集合起来协同工作，共同对外提供高性能、高可靠、不间断的数据存储和业务访问服务。在视频云存储系统的设计中，采用的核心技术如下：1)采用存储全域虚拟化技术对具有海量存储需求的用户提供透明存储构架，可持续扩容避免瓶颈限制，可以更有效的进行资源管理，灵活增减空间，达到最大程度上合理利用空间的效果。2)采用集群技术，解决单/多节点失效问题，并利用负载均衡技术充分利用各存储节点的性能，提升系统的可靠性和安全性。3)采用离散存储技术，保障了用户高效的读写的同时保证了业务的持续性。4)采用统一完善的接口，降低对接成本、平台维护成本和用户管理的复杂度。5)采用开放的集成构架，使其可兼容业界各类iSCSI/FC存储设备，保护用户现有存储投资资源。6)采用数据备份和容灾技术，保证云存储中的数据不丢失，确证云存储服务的安全稳定。7)采用视频、图片的全直存技术方案，保证项目整体的成本控制，优化存储系统流程。.. 1.1逻辑架构云存储系统采用分层结构设计，整个系统从逻辑上分为五层，分别为设备层、存储层、管理层、接口层、应用层。图1.云存储逻辑架构图1)设备层设备层是云存储最基础、最底层的部分，该层由标准的物理设备组成，支持标准的IP-SAN、FC-SAN存储设备。在系统组成中，存储设备可以是SAN架构下的FC光纤通道存储设备或iSCSI协议下的IP存储设备。2)存储层.. 在存储层上部署云存储流数据系统，通过调用云存储流数据系统，实现存储传输协议和标准存储设备之间的逻辑卷或磁盘阵列的映射，实现数据（视频、图片、附属流）和设备层存储设备之间的通信连接，完成数据的高效的写入、读取和调用等服务。1)管理层在管理层，融合了索引管理、计划管理、调度管理、资源管理、集群管理、设备管理等多种核心的管理功能。可以实现存储设备的逻辑虚拟化管理、多链路冗余管理、录像计划的主动下发，以及硬件设备的状态监控和故障维护等；实现整个存储系统的虚拟化的统一管理，实现上层服务（视频录像、回放、查询、智能分析数据请求等）的响应。2)接口层应用接口层是云存储最灵活多变的部分，接口层面向用户应用提供完善以及统一的访问接口，接口类型可分为WebService接口、API接口、Mibs接口，可以根据实际业务类型，开发不同的应用服务接口，提供不同的应用服务。实现和行业专属平台、运维平台的对接；实现和智能分析处理系统之间的对接；实现视频数据的存储、检索、回放、浏览转发等操作；实现关键视频数据的远程容灾；实现设备以及服务的监控和运维等。3)应用层从逻辑上划分，除了应用层外，剩下的四层都属于通常云存储的范畴，但是在海康威视视频云存储系统中，为了与视频监控系统的建设和应用更加紧密的结合，更加符合用户的业务需求，将应用层纳入了整个系统架构中，从根本上提高海康威视视频云存储系统的针对性。可将行业视频监管平台、运维平台、智能分析平台等通过相应的接口与云存储系统对接，实现与云存储系统之间的数据以及信令的交互。行业视频监控平台可与云存储系统进行配置录像计划、配置存储策略、检索视频资源、重要录像的备份存储等指令的交互，辅助流数据、视频数据、图片数据的存取。运维平台采用标准的SNMP协议实现并提供Mibs.. 接口，对云存储系统以及服务进行监控管理，及时将产生的告警传递给用户。将智能分析平台可与云存储系统进行对接，实现基础数据的读取，以及经过存储的二次分析后的片段信息，文本信息写入和检索。1.1系统特点海康威视视频云存储系统通过全集群化设计、全域虚拟化设计、分布式文件系统设计、面向应用的算法、功能设计为用户提供了更为海量的存储空间、更为庞大的前端路数支持、更为高效的处理能力、更为透明的系统环境。对于面向视频、图片等监控行业无疑是一套非常优秀的云存储系统。1.1.1高效灵活的空间管理海康威视视频云存储系统具有高效灵活的空间管理能力。为了突破传统存储在存储容量和系统性能上的矛盾，在管理大容量空间时通过全系统分层集群的设计将系统的管理资源进行整合，并根据负载均衡算法提供全高效并发处理机制，大大地提高了系统的整体性能。1)存储资源的虚拟化对存储空间的管理方面海康威视视频云存储系统将全域各存储节点的资源进行虚拟化后，向用户呈现出一个持续的、超大的数据资源池，将其称之为存储资源池。存储资源池的整合过程完全透明，由系统算法自行完成，将用户从繁琐的空间管理和配置中解脱出来，提高了管理效率。2)存储资源的在线扩展当存储资源无法满足用户的容量需求，需要进行存储资源的扩展时，海康威视视频云存储系统能为用户提供十分便易的操作。用户只需要在集群内添加新增存储设备的IP地址，系统会自动辨别新增设备，对新增设备进行虚拟化整合，这样新增设备的容量就能融入集群，并作为集群内全部存储资源的一部分为用户所用；同时，在整个存储资源的扩展过程中，视频云存储系统的录像业务正常运行，保障用户不会因为系统的扩容而中断正在进行的正常业务，从而实现存储资源的在线扩展。.. 云存储的系统架构保证了存储资源在线扩容的同时，可以满足容量与处理性能的线性增长，从而提供了无限制的容量增长能力。1)虚拟空间的灵活使用用户对存储资源池的使用完全可以做到随心所欲，可以按照监控系统的需要和监控区域的容量大小将存储资源池的存储资源进行分配，分配后的存储资源称为录像池。录像池的划分采用灵活策略方式，对于已经分配好的并在线运行的录像池策略依然能够进行调整。调整方式非常灵活，不但能够做到将录像池进行扩大，同时也能非常灵活的支持将录像池进行缩小，而这点在传统存储中则非常困难。1.1.1海量数据的快速检索海康威视视频云存储系统管理着百PB级的存储容量空间，但是依然能够具备高效、准确、快速的数据检索能力。1)一体化索引设计海康威视视频云存储系统的索引管理遵循着高效、简洁、一体化的设计思路。所有与用户业务相关的索引信息统一由海康威视视频云存储系统的视频云存储管理节点或者集群进行管理。视频云存储管理集群在对索引的一体化设计上将海量数据索引查找、筛选进行了全面的优化，大大的提高了查找速度。在规模不断扩大时性能几乎相同，均能做到毫秒级耗时。2)深化的应用设计海康威视视频云存储系统本着视频云存储系统的特有性，在视频、图片的某些专有信息上也进行了独特的设计。可以支持快速的对I帧定位并直接读取I帧信息，避免了传统存储在I帧数据获取时反复读取视频数据再分析呈现的过程。该项设计使得海康威视视频云存储系统在数据存储索引设计与用户应用更紧密地进行了融合，使得海康威视视频云存储系统能够为用户提供更为高效的海量数据的快速检索能力。.. 1.1.1持续可靠的数据服务海康威视视频云存储系统为用户能够提供7X24小时不间断高效可持续的数据服务，充分保护数据安全和可靠性。1)集群化管理节点设计海康威视视频云存储系统在管理层面通过部署集群化视频云存储管理节点向用户提供系统级的存储性能和可靠性。通过视频云存储管理集群将管理压力、业务压力、调度压力、检索压力等同时分担在不同的视频云存储管理节点上，不但能够使系统整体性能提升，还可以使得单台节点的压力下降。通过这种方式单台视频云存储管理节点的系统消耗更小，也就使得使用寿命更长，可能出现故障的概率降低。即使视频云存储管理集群中部分（一台或多台）节点出现故障，也不会影响到视频云存储系统的服务，因为在视频云存储管理集群中的其他节点会主动接过故障节点的工作，继续为视频云存储系统提供管理服务。2)持续并发业务存取在数据存储层面同样由于视频云存储节点也采用的集群化部署，所有的存储资源是采用虚拟化的方式由系统统一进行管理的。在数据存储时海康威视视频云存储系统采用离散存储算法，可以为用户提供系统级分散存储服务。支持将同一IPC提供的数据流按照分片的方式分布式存储在不同视频云存储节点上。这样即使单台或多台存储节点出现故障该IPC的录像数据仍然可用。在存储节点内运行管理和业务软件也可用对数据进行合理分配，同时高效的Raid技术在设备层面也能保证数据的高安全和可靠性。3)高可靠的录像功能海康威视视频云存储系统在存储节点上内置视频云接入软件，所提供的录像服务和流媒体服务也是由视频云存储管理节点统一进行调度的，每套视频云接入软件负责一部分前端的录像工作。当这台节点宕机时视频云存储管理集群会根据当前资源情况按照负载均衡策略将这部分录像任务重新进行分配，保证业务的不中断。.. 1.1.1高可扩展的应用支撑海康威视视频云存储系统是一套为视频、图片等监控行业而设计视频云存储系统。其先天的基因中就融入了面向应用的特质，在不断发展的趋势下这种面向应用的特质会不断地为用户提供高效、灵活、可靠、的专业级存储服务。1)数据应用性能支撑由于视频数据具有持续时间长、数据量大等特点，在存储和读取上对存储设设备的压力会尤其的严重。传统存储在遇到视频流数据的时候往往会出现存储/读取慢、前端支持路数底的瓶颈。而海康威视视频云存储系统就能够很好的解决这些问题。2)流数据存储结构设计海康威视视频云存储系统的集群化、分布式设计使得系统的性能有很大的提升，能够并发服务以满足视频数据的高速读取需求。海康威视视频云存储系统的流数据结构系统也是专门为视频、图片数据而设计，能够合理将整段数据进行划分。这样设计的优点是满足视频数据的持续写入。对于划分的粒度，通过海康威视多年视频监控行业的服务经验，同时配合对大数据服务的扩展需要，以及考虑到后期数据读取和应用的频率而进行的专业调整。在具体存储空间的分配上海康威视视频云存储也是自有知识产权的设计，摒弃传统存储的分配方式而为视频、图片数据而特别设计的。3)高扩展性应用设计视频录像的应用方面海康威视视频云存储也进行了充分的考虑。如支持对I帧的快速定位、对录像标注、修改、对存储周期采用时间和存储容量双轴线覆盖策略等。海康威视视频云存储这些专业化设计使得用户在应用过程中不再需要平台分析服务器采用反复读取完整录像后再进行分析而得出结论的方式。这样大大优化了应用的服务质量，使得监控系统的服务也更加专业、有效。同时为有云计算需求的用户提供了优质的数据基础。.. 1.1.1开放透明的兼容系统海康威视视频云存储系统的设计理念就是通过云的概念将所有不同类型的应用、业务接口全部封闭在云内，为上层业务和用户提供统一的、透明的、可调用的系统级存储资源。1)统一开发平台接口云存储系统在软件接口设计上采用API的模式对内部所有处理模块进行筛选，将对业务有决定性的模块按照接口的模式进行统一封装，提供给上层业务进行调用，这样云存储系统内部实现对上层业务就不再重要，上层业务只用调用云存储系统提供的统一接口即可，大大的优化了上层业务的代码结构、简化了操作步骤，也将应用的效率和性能进行了大幅提高。2)标准第三方设备接入海康威视视频云存储系统采用的是标准的设备兼容模式，支持标准IPSAN、FCSAN存储设备的接入。海康威视视频云存储系统通过部署第三方存储服务节点的方式，将用户环境中现有或者需要使用的标准第三方存储设备统一进行管理。第三方存储设备接入到海康威视视频云存储系统后，由视频云存储管理集群统一进行管理，第三方存储设备的资源也纳入到虚拟池内进行管理。用户在使用上并不会感受到差别，真正实现透明、统一、兼容的视频云存储系统。1.2应用场景海康威视视频云存储解决方案作为安防监控行业整体方案中的存储技术部分，在确定使用云存储方案前需先明确存储业务的类型。当前云存储业务应用场景分为三种类型：纯视频云存储场景、纯图片云存储场景、视频与图片混合类云存储场景。视频云存储场景与图片云存储场景的主要区别在于：视频云存储中视频数据流采用直写方式存储到存储磁盘阵列上。在此场景中云存储的存储节点替代了流媒体服务器的功能，将流媒体转发与存储结合，简化了系统结构。因此云存储不需要部署流媒体服务器，可以节省项目的整体成本。.. 同时大幅提高存储系统的效率和可靠性。图片云存储方案中高清抓拍相机的图片数据流需要通过平台接入服务器转发到存储磁盘阵列。以云存储替代传统的存储方式，可以最大限度的发挥存储设备的整体性能，大幅提升存储效率和可靠性。对于图片中我司的图片直存云存储方案则可省去接入服务器，效率更为优良。混合云存储场景支持一套云存储能同时满足视频和图片数据的存储要求。并综合视频和图片的在云存储系统中的存储优势，将复杂的业务存储场景简单化，向用户提供一体化的存储解决方案。因此本方案针对业务应用场景进行了分类：纯视频类数据的云存储设计请参考第三章；纯图片类数据的云存储设计请参考第四章；项目既包含视频存储又包含图片存储的情况请参考第五章。.. 第一章视频类云存储设计海康威视视频云存储系统应用于纯视频存储时，主要是承担整个系统内的视频数据写入/读取工作。云存储系统一方面采用了基于云架构的分布式集群设计和虚拟化设计，在系统内部实现了多设备协同工作、性能和资源的虚拟整合，最大限度利用了硬件资源和存储空间。另一方面，通过将云存储的存储功能、管理功能进行打包，通过开放透明的应用接口和简单易用的管理界面，与上层应用平台整合后，为整个安防监控系统提供了高效、可靠的数据存储服务。1.1系统软硬件设计1.1.1软件设计海康威视视频云存储系统主要由四大部件组成：云存储管理软件（CVM），云存储软件（CVS），云存储接入软件（CVA）以及云存储异构软件（ASS）。下面分别介绍四大软件内部结构及功能。1.1.1.1视频云存储管理软件CVM视频云存储管理软件：CVM（CloudVideoManage）整套软件，主要功能包括视频云存储系统内资源管理、存储节点管理、集群管理、策略调度、运维监控等。软件包含六大功能模块，分别为：索引管理模块、调度管理模块、集群管理模块、计划管理模块、资源管理模块、辅助管理模块，整体软件架构如下图所示：.. 图1.CVM软件架构1、索引管理模块索引管理模块集群化管理集群中的全部管理节点，能并发响应用户的检索、插入、修改和删除操作情况，提供一体化、高并发、快响应的索引服务。同时，索引管理模块提供视频索引、标注索引服务，支持以通道号、时间段、录像类型和锁定状态为条件的视频信息检索服务，支持以通道号和时间段为条件插入、修改、删除和检索标注的功能，以及根据标注关键字检索视频的特色功能。2、调度管理模块调度管理模块根据集群中设备的负载状况，灵活的调度集群资源为应用业务提供支撑。作为集群系统中的逻辑引擎根据不同的逻辑策略执行不同的调度算法，提供资源分配调度、分散策略调度、循环覆盖调度、录像计划调度等服务。3、集群管理模块.. 集群管理模块统一管理集群中分布式设备节点，包括管理节点和存储节点。它负责管理节点之间关键信息的实时同步，保证集群中不同管理节点信息的一致性，无差异化的对外提供服务。同时也负责管理存储节点，将存储节点加入到集群中作为存储资源的一部分，集群管理模块维护集群中设备节点的实时状态信息，对外提供设备状态查询接口便于管理和了解集群的整体运行状态信息。1、计划管理模块计划管理模块负责录像计划的管理、下发、切换，保存监控平台下发的录像计划，调度系统中的录像计划并执行录像计划，当接入服务器异常时负责动态切换录像计划到其它接入服务器。2、资源管理模块资源管理模块负责对集群中所有存储设备的存储空间进行统一管理，根据入网存储设备上报的资源信息计算出集群存储总容量和空闲容量，负责创建、删除录像池，为存储业务分配合适的存储资源。同时能动态的调整录像池的大小，弹性的对录像池进行扩容或者缩减，将集群存储空间切分成细小独立的存储单元，再根据用户需要，将很多个存储单元有机组合后虚拟化成录像池对外提供存储服务。3、辅助管理模块辅助管理模块包含日志管理、运维管理、数据迁移等功能，日志管理为其他模块提供日志打印服务，对外具备日志查询和日志文件下载功能，包含调试日志、事件提示日志、错误日志、告警日志和重要日志。运维管理云视频管理节点的运行参数获取接口，供运维平台获取管理节点的实时运行信息。数据迁移功能对外提供将第三方数据迁移到本视频云存储系统中保存的功能。1.1.1.1视频云存储软件CVS视频云存储软件：CVS（CloudVideoStorage）是视频云存储系统中的重要模块，主要负责执行具体的视频数据读写操作。CVS集成在视频云存储节点（CVSN）上，每一台存储设备上都必须装载该软件模块。.. 视频云存储软件（CVS）接受视频云存储管理软件（CVM）的管理，从视频云接入软件（CVA）接收海量视频数据，高效无误的存放在本机指定的数据块中。在一套视频云存储系统中，视频云存储存储管理软件（CVM）会均衡分配多台视频云存储软件（CVS）的业务负载量，使整个系统的读写性能达到最佳。视频云存储软件按照功能模块化设计，整体软件架构如下图所示：图1.CVS软件架构1、通信模块本模块主要是负责和CVA及CVM进行数据信息的交互，采用多线程并发接收和发送数据的方式，高效完成跨机器的数据交互。2、运维管理本模块主要是负责和视频云运维软件进行交互，采集系统数据及程序运行数据，并按照特定协议格式发送给视频云运维部件，方便平台对整个云存储系统运行状态进行实时监控，如有故障出现，及时报警提醒相关人员进行处理。3、视频接入本模块主要是负责处理从CVA传输进来的视频数据，并按分类进行一定的逻辑处理。采用多线程的处理方式，可同时支持数百路的视频数据接入。4、日志管理本模块主要是负责对CVS的日志进行统一管理，记录一些重要事件，方便事件回溯，对外提供日志查询和日志下载功能。.. 1、视频文件系统本模块根据视频的特性，定义流式存储结构，主要是负责视频数据的高效读、写。2、数据库管理本模块主要是负责对CVS系统运行时需要临时存放的一些重要数据进行保存，可以方便的以SQL接口提供插入和查询，简化数据存放和获取的机制。1.1.1.1视频云存储接入软件CVA视频云接入软件CVA（CloudVideoAccess）也是整个云存储系统的重要组成部分，主要包括录像任务管理、录像服务、设备状态管理和部分流媒体转发服务等功能。视频云接入软件支持定时录像、移动侦测录像和事件录像（如：手动录像），其中事件录像的优先级要高于定时录像和移动侦测录像。视频云接入软件实时检测用户配置的录像计划任务信息表，当接入软件检测到有通道需要执行录像任务时，接入软件首先通知流媒体服务从前端设备读取视频数据，然后根据录像类型执行相关录像。视频云接入软件按照功能模块化设计，软件包括六大功能模块：录像任务管理、流媒体服务、设备状态管理、负载信息管理、录像服务、视频帧分析。整体软件架构如下图所示：.. 图1.CVA软件架构1、录像任务管理录像任务管理功能主要包括定时录像管理、移动侦测录像管理和事件录像管理等功能。定时录像和移动侦测录像是用户设置的计划录像，事件录像是用户计划外的录像。录像管理功能需要按照用户的需求从前端设备获取视频数据、执行录像、停止录像和停止从前端设备取流等操作。Ø移动侦测录像，录像管理功能首先需要对前端设备布防，并监控前端设备的报警状态，同时还可以根据用户的需求提前从前端设备获取视频数据，通过预先获取数据流保证了视频的完整性，当接入软件收到前端设备的移动侦测报警命令后，立即执行录像。Ø事件录像，录像管理功能接收到事件录像命令，首先检索当前通道是否有定时录像或移动侦测录像，如果没有上述两种录像，立即执行录像，事件录像的优先级要高于移动侦测录像和定时录像。.. 1、流媒体服务流媒体服务主要包括流媒体转发模块和流控制管理模块，流媒体服务具有稳定和高效等特点，整个系统提供持续的视频数据支持。流媒体服务传输视频数据支持RTSP、TCP和UDP协议，可以根据不同环境选择合适当前网络性能的传输方式。流媒体服务视频流转发功能：流媒体服务从前端设备获取到视频流后可以根据用户的需要将视频流转发给多个用户或设备。通过视频转发功能降低了前端设备的压力，节省了网络带宽，极大的提高了系统性能。2、设备状态管理设备状态管理是云存储接入软件的基础功能，它主要包括监控前端设备状态、布防状态和取视频数据流的状态。Ø前端设备状态监控：状态管理功能实时获取前端设备的状态，当检测到前端设备异常，接入软件会及时上报。Ø设备布防状态监控：状态管理功能实时监控前端设备的布防状态，当前端设备布防失败，接入软件会及时上报。Ø读取视频流状态监控：状态管理功能实时监控流媒体服务的工作状态、如果流媒体服务取视频流时发生异常，接入软件会及时上报。3、负载信息管理负载信息管理功能主要是接入软件实时监控当前服务器的内存和CPU使用情况，并定时上报当前资源使用信息，云存储管理软件（CVM）根据上报的资源使用信息均衡分配录像计划到云存储接入软件（CVA）。4、录像服务录像服务包括取流管理模块和执行录像服务模块两个部分。录像服务接收录像任务管理模块下发的录像信令，当录像服务接收到录像任务管理模块开启录像信令后，首先通过取流模块向流媒体服务发送取流信令，然后将流媒体转发的视频数据发送到云视频存储软件为一次录像的开始。当录像服务接收到录像任务管理模块下发的停止录像信令，录像服务首先向流媒体服务发送停止取流的信令，然后通知云视频存储软件停止录像为一次录像的结束。.. 1、视频帧分析帧分析模块主要是对流媒体服务读取的视频数据进行帧分析，从视频数据中分析出关键帧等信息，为系统提供关键帧查询和关键帧回放提供技术支持。1.1.1.1视频云存储异构软件ASS异构存储软件ASS（AsynchronousStorageService）主要负责接入第三方iSCSI/FC标准存储设备，软件集成安装在ASSN节点内，具体负责接入第三方iSCSI/FC存储设备的工作。软件主要由三个模块实现，分别为识别模块、挂载模块和管理模块；主要和CVS交互。通过识别模块和挂载模块实现对第三方标准存储设备的兼容工作。通过管理模块与存储设备以及上层CVS之间进行交互。整体软件架构如下图所示：图1.ASS软件架构1、识别模块探测到异构设备后获取其相关系统信息，将其视作为存储设备，在设备目录中添加相应节点。2、挂载模块将新加的设备节点转化为通用存储设备节点，并挂载到软件系统中以备CVS使用。.. 1、管理模块本模块的功能是：将本机内存储设备和异构设备统一管理，实现设备的加入和退出，以及相关状态的保存和记录。除上述三项软件外，在云存储系统内部实现了运维信息的收集与告警机制。该机制负责对云储存系统内的设备和资源的运行情况进行统一监控，以标准的SNMP协议与将机器运行状态以及产品特性运行指标反馈给运维系统。实现对设备状态实时检测，对异常状态实时报警，如：硬盘丢失、CPU/内存使用率过高、存储空间不足、设备温度过高、管理服务器运行异常、设备下线等。1.1.1硬件设计海康威视视频云存储系统由存储管理服务器（存储管理节点CVMN）、存储设备（存储节点CVSN）及异构服务器（第三方存储服务节点ASSN）组成。1.1.1.1视频云存储管理节点CVMN视频云存储管理节点：CVMN（CloudVideoManageNode）在云存储标配服务器上集成安装视频云管理软件CVM（CloudVideoManger），其主要功能包括视频云存储系统内资源管理、存储节点管理、集群管理、策略调度、运维监控等。根据视频云存储系统的规模情况和可靠性要求管理节点部署可分为：HA部署和集群部署两种模式。其中HA部署模式适用于1024路以内监控前端视频读写规模，通过两台服务器做双机热备；集群部署模式适用于较大型的视频云存储系统，可以进行三台或三台以上配备，集群部署的服务器台数必须是奇数增加。集群部署的优势在于通过视频云存储管理节点内部集群功能将协调各节点设备资源，将用户配置、数据库信息、策略计划进行统一进行调度，整体性能呈现线性增长。同时也增加了系统的可靠性，多台设备的故障不会影响到系统的运行。无论是HA部署模式还是集群部署模式，视频云存储都使用唯一的虚拟IP地址对外提供服务。.. 1.1.1.1视频云存储节点CVSN视频云存储节点：CVSN（CloudVideoStorageNode）在存储设备上集成安装视频云存储软件CVS（CloudVideoStorage）和视频云接入软件CVA（CloudVideoAccess）作为存储节点。主要是响应视频云存储管理节点（CVMN）和应用层的录像、查询、下载等操作申请，以及管理物理存储设备和空间，视频云存储节点模块具有以下功能：Ø负责根据接收云存储管理节点下发的录像计划，并根据录像计划向对应的前端摄像头进行取流操作。Ø负责将接收到的录像数据写入到存储底层或从存储底层读取数据，通过协议接口主要向API提供录像、查询、回放及下载服务。Ø提供存储设备的状态检测和信息上报功能。Ø存储底层：使用Raid技术来保证数据安全，支持节能的磁盘休眠功能。1.1.1.2第三方存储服务节点ASSN第三方存储服务节点：ASSN（AsynchronousStorageServiceNode）在服务器上集成安装异构存储软件ASS（AsynchronousStorageService）、视频云存储软件CVS（CloudVideoStorage）、视频云接入软件CVA（CloudVideoAccess）的接入第三方存储服务节点。其主要功能是通过安装异构软件（ASS）完成对第三方iSCSI/FC标准存储设备的接入，实现对项目已有资源的兼容性利用。使得第三方存储设备通过ASSN的整合后，具备与CVSN同样的功能。1.2系统物理拓扑视频云存储系统主要由存储管理节点（服务器）和存储节点（物理存储设备）两部分组成。系统内部需要配置的元数据信息由云存储.. 管理服务器统一管理，管理节点还需要负责集群内部的负载均衡，失败替换等管理职能；视频云存储系统可以组建海量的存储资源池，容量分配不受物理硬盘数量的限制；并且存储容量可进行线性在线扩容，性能和容量的扩展都可以通过在线扩展完成。视频云存储物理结构如下图所示：图1.视频云存储物理结构图视频云存储管理节点（CVMN）：部署存储管理服务器，是视频云存储系统的核心节点，作为云存储系统的调度中心负责云存储系统资源管理、索引管理、计划管理、策略调度等。根据项目对存储容量需求、前端支撑数目、性能要求、可靠性要求，存储管理节点可以按照两种方式部署：HA部署、集群部署。.. 视频云存储节点（CVSN）：作为云存储系统业务的具体执行者负责视频数据存储、读取、存储设备管理、存储空间管理等。1.1系统功能设计海康威视视频云存储系统面向视频应用定制化开发，提供了丰富的功能接口供视频监控管理平台调用，主要功能如下图所示：图1.视频云存储系统功能图1.1.1视频存储功能功能项功能说明视频录像系统可以按照用户制定的计划保存前端设备采集的录像数据，录像类型、录像头由用户指定，存储开启相关的资源。动态修订录像类型：前端采集视频数据过程中，按报警类型可以修改录像的类型，修改后采集的视频数据即时保存到系统中，并在数据保存类型上得到反映。视频检索用户可以按监控点编号、录像类型、时间组合、锁定、标注等条件查询录像数据。视频回放支持根据监控点编号以及时间段、录像类型对录像数据进行回放。支持根据监控点编号以及时间段对录像数据进行回放时间定位。.. 支持快放、慢放。支持倒序回放。支持I帧回放。支持手动停止回放。视频下载支持根据监控点编号以及时间段对录像数据进行下载。支持断点续传。视频锁定支持指定的录像片段进行锁定，锁定后的数据不被循环覆盖掉。支持已锁定的录像片段锁定时长到期自动解锁。视频标注对录像数据信息所对应的标签进行打标、存储、备份等操作；对录像等数据信息的标签信息进行查询、检索、筛选工作；对录像等数据信息所对应的标签进行修改、删除等操作。视频删除支持根据监控点编号、录像时间、录像类型删除视频录像。周期覆盖按策略支持按周期、容量进行录像数据的周期覆盖式存储。1.1.1录像管理功能功能项功能说明录像计划管理关联平台配置好的录像计划，并将录像计划同步到各个存储节点。录像计划执行根据配置要求确定通道和存储地址，负责将录像数据向下层模块的写入操作。移动侦测录像根据设定移动侦测区域自动执行相应的录像任务事件录像根据具体事件执行录像任务，优先级高于定时和移动侦测录像1.1.2系统管理功能功能项功能说明集群化管理视频录像索引采用集群方式，无单点故障，保证索引数据的安全性。集群采用快速索引管理，能根据用户的各种查询条件（监控点编号、录像类型、时间段等）进行快速定位。负载均衡管理集群采用虚拟IP技术，对外提供统一的入口IP形式，将集群的访问在集群中根据各种算法进行分摊，降低单个节点的访问压力。后端存储节点压力进行实时监控，当单台存储节点压力过大时能根据智能算法将业务平滑迁移至其他存储节点，达到整个集群间负载均衡目的。虚拟化管理支持对存储设备统一管理，虚拟化为资源池，且将虚拟资源划分为块进行管理。.. 自动精简管理动态分配存储空间，通过实时的数据录像情况调整和分配系统内存储资源空间，提高系统存储空间利用率。分散存储管理将前端数据通过特定算法，平滑分散至各个存储节点，从而降低大量回放对单台存储节点的压力。存储空间管理支持为摄像机随机分配录像空间，且分配的存储空间可灵活调整，支持摄像机恢复录像时，记录日志。1.1.1运维管理功能功能项功能说明系统信息获取支持系统信息：版本、CPU、内存、网卡、磁盘等信息的获取。系统故障告警支持系统故障（CPU、内存等超过阈值）主动告警到运维平台。存储设备告警支持设备故障、掉线会主动告警到运维平台。标准协议对接支持标准的SNMP协议对接。1.2系统业务流程1.2.1视频存储流程视频数据存储：视频监控平台向视频云存储管理节点下发视频录像计划，存储管理节点根据各存储节点的负载状况，给存储节点的接入服务软件同步录像计划。接入服务软件获取录像计划后，直接访问监控点IPC获取到视频数据，再通过调用数据存储软件将数据写入存储节点中。当监控点录像计划发生变更，会及时通知存储管理服务器；由存储管理服务器统一控制并同步给存储节点。存储节点定期向管理服务器获取录像计划，并上报自身状态。存储节点设备之间能够自动进行均衡负载，保证在故障时做到自动切换，不间断的提供视频数据存储服务。详细的视频存储流程如下图所示：.. 图1.视频存储流程流程优点：1、录像数据是直写磁盘方式，优化了读写性能；已经写入存储节点的数据不会受系统和其他设备的影响导致丢失。2、视频数据是分散存储，根据需求将IPC的数据按照算法分散到不同的存储服务器上，提高数据读写的速度，在可靠性和安全性上得到了加强。1.1.1视频检索流程视频数据检索：视频监控平台检索视频录像信息，视频监控平台向视频云存储系统存储管理服务器发送检索指令，存储管理服务器查询本地数据库直接将检索信息发送到视频监控平台，采用一级检索方式完成整个流程。详细的视频检索流程如下图所示：.. 图1.视频检索流程流程优点：独有的一级索引技术，当视频信息完成存储后立刻在云存储系统管理平台生成一套数据对应的索引表。改进了传统的索引机制，使得读取仅通过一次查询就能够精确定位到存储的数据。1.1.1视频读取流程视频数据读取：用户通过视频监控平台调用监控点视频时，视频监控平台向视频云存储系统发送获取数据的请求，存储管理服务器转发请求到存储节点，数据从存储节点由数据管理服务软件直接（或转发）送至调用者。详细的视频读取流程如下图所示：.. 图1.视频读取流程流程优点：视频数据是分散存储的，便于数据的快速提取及分析，提高了数据读取的速度，在可靠性和安全性上得到了加强。1.1系统项目设计1.1.1项目信息收集根据项目规模的大小及具体的项目要求，云存储系统提供满足用户需求的解决方案，因此项目前期沟通一定要做好项目信息的收集整理工作。视频类云存储需搜集的信息：1、视频数据存储是否采用集中存储的方式、机房的建设情况、网络的规划等。这些信息用于云存储详细方案的设计。因为云存储的部署采用的是集中存储模式，所有设备集中放置在中心机房内。实际项目中可以根据机房、网络的情况设计为单云或者多云的方案。.. 1、前端路数、码流、存储时间等这些信息主要用于项目存储容量计算、云存储设备数量的计算；其中视频前端的通道数决定了云存储管理服务器的规模和配置；其他信息则用于计算云存储系统的整体容量。2、第三方平台、前端、存储阵列具体厂商、型号等云存储系统作为海康威视整体解决方案中的一个部分，主要支撑我司自有产品。对于涉及第三方产品收集具体信息后可以遵从以下原则设计：（1）、第三方平台兼容云存储系统需要进行定制开发，项目中是否开放云存储接口需由武汉研发中心云存储部门确认。（2）、第三方前端直存方案支持标准协议如：Onvif、RTSP、GB/T-28181等；（3）、第三方存储阵列支持标准IP-SAN的接入，但需要增加服务器、增加软件定制费用；3、定制化功能需求定制化存储需求指的是云存储本身不具备的功能要求，云存储具体功能可见3.3系统功能设计；该部分需要与武汉研发中心云存储部门确认，并收软件定制化费用。1.1.1云存储设计流程通过对项目信息的收集工作，我们对云存储系统所要承担的工作内容和大致规模有了初步的了解。之后就针对云存储系统中的每个节点单独进行分析和设计，最后输出软硬件清单。整体流程如下：1、确定云存储的套数；2、针对每套云存储单独设计；3、设计每套的云存储管理服务器；4、设每套的云存储存储设备；5、列出软硬件清单。.. 在云存储系统的设计方案中，尽可能设计为一套云存储系统。但是由于项目中建设方可提供的机房环境无法保证在一个机房内部署所有的云存储设备，或是网络带宽无法保证前端的数据能集中传输到该机房时，可以根据实际情况设计多个云存储系统。原则是每个机房一套独立的云存储系统。在多云方案中，多套的云存储通过平台进行整合，依然可以提供非常高效、稳定的存储服务。1.1.1云存储管理服务器设计1.1.1.1管理节点双机部署当项目中前端摄像机通道数量小于1024路时，云存储管理节点采用2台服务器做HA双机部署模式。管理节点双机部署是一种可靠性较高的部署方式。此种方式是采用两台服务器并安装相应的视频云存储管理软件，形成视频云存储管理节点。通过云存储管理软件使两台服务器一台工作，一台备份，它们对外维护唯一的IP地址。此种部署方式的两台服务器通过运行双机热备模式，可实现应用服务的故障切换，提高了视频云存储管理节点的可靠性和稳定性，工作性能也得到了保证。双机部署物理拓扑如下图所示：.. 图1.管理节点双机部署方式管理节点双机部署内容设备名称数量安装软件备注服务器2视频云存储管理软件（CVM）存储设备M视频云存储软件（CVS）视频云接入软件（CVA）M≤641.1.1.1管理节点集群部署当项目中的前端摄像机通道数量超过1024路时可采用管理服务器集群模式。集群部署可以保持规模与性能的线性增长，三台管理服务器集群可以支撑4000路以内的摄像机通道规模。如果摄像机通道规模更大可以通过增加管理服务器台数来提高集群的性能，如5台管理服务器可支撑6000路、7台管理服务器可支撑8000路。管理服务器的数量必须为奇数。无论集群内有多少台服务器，对外呈现为唯一的IP地址。管理节点集群部署是一种高可靠性、高稳定性的部署方式，此种方式是采用三台或三台以上奇数台服务器组成，安装视频云存储管理软件并运行集群工作模式，形成视频云存储管理集群。此种集群工作模式，可实现单台或多台服务器应用的故障切换和负载均衡，提高了视频云存储管理节点的可靠性和稳定性，系统性能也得到了很大的提高，是大型视频监控项目首选的部署方式。集群部署物理拓扑如下图所示：.. 图1.管理节点集群部署方式管理节点集群部署内容设备名称数量安装软件备注服务器N视频云存储管理软件（CVM）服务器数量为N≥3的奇数存储设备M视频云存储软件（CVS）视频云接入软件（CVA）1.1.1存储容量计算具体容量计算及存储设备数量可参见《视频云存储容量计算工具》。1.1.1.1视频监控录像存储容量视频录像数据包括：监控摄像机全天候定时录像、事件触发录像、手动录像。视频监控系统一般采用H.264编码算法：1）设计码流为1080P@30帧（1920×1080）6～8Mbps，这样的算法和带宽可以确保图像清晰度、色彩还原及编解码延时等几个关键指标的综合最佳效果。1路1080P摄像机按照这样的码流计算30天的存储空间：8Mbps×3600秒×24小时×30天/1024/1024/8=2.48TB，根据具体情况（共规划建设视频监控系统XX套），存储容量总需求为：.. XXTB，系统建设存储设备总容量约为XXTB。2）设计码流为720P@25帧（1280×720）3～4Mbps，这样的算法和带宽可以确保图像清晰度、色彩还原及编解码延时等几个关键指标的综合最佳效果。1路720P摄像机按照这样的码流计算30天的存储空间：4Mbps×3600秒×24小时×30天/1024/1024/8=1.24TB，根据具体情况（共规划建设视频监控系统XX套），存储容量总需求为：XXTB，系统建设存储设备总容量约为XXTB。在项目设计需提前规划适当的冗余容量。一般在需求容量的10%~25%。1.1.1.1存储设备配置以24盘位网络存储设备为例，为了保证数据的可靠性，存储设备一般采用如下冗余措施：每台设备配置1片热备盘，剩余23片盘做两组RAID5（建议：16盘位做两组RAID5，48盘位做4组RAID5）。1）采用3TB企业级硬盘，标准3TB硬盘的由于十进制与二进制计数的不同，其实际容量为3000GB/1.024/1.024/1.024=2794GB；2）考虑到RIAD5冗余措施，每台设备可用的有效存储硬盘位21片，同时考虑5%的空间损失，则每台存储设备的净存储空间为：单台存储设备净存储空间=两组RAID容量之和2794GB×11×0.95/1024+2794GB×10×0.95/1024≈54.43TB3）根据容量计算出所需要的存储设备数量和硬盘数量为：存储设备台数M=系统总存储容量/每台设备的净存储空间硬盘个数A=存储设备台数M×24（盘位）.. 1.1系统软硬件总参考清单通过以上计算后得出了云存储系统的管理服务器和存储设备的硬件数量。每套云存储系统中仅需要一套云存储软件iVMS-5120。设备清单如下表：视频云存储系统配置清单1、视频云存储系统硬件设备清单硬件项目数量单位参数说明备注视频云存储管理服务器N台　双机模式：2台；集群模式：>=3,奇数；视频云存储主机M台　　2、视频云存储系统软件清单软件项目数量单位参数说明备注视频云存储管理软件1套　iVMS-51201.2系统设备的验收系统技术验收将对设备数量、设备性能参数、系统的集群管理、视频功能、维管理、接口功能、系统可靠性等几个方面进行验收，并对系统进行模拟硬盘故障、电源故障、网络故障、存储设备故障等破坏性实验，以检验实验过程中视频数据是否丢失。系统验收需根据项目实际的业务场景、功能选型进行选取。下列表格中的内容在实际场景未使用时，可不作为验收项使用。1.2.1系统功能的验收功能项功能说明备注一、集群管理视频录像索引采用集群方式，无单点故障，保证索引数据的安全性。.. 索引集群管理集群采用快速索引管理，能根据用户的各种查询条件(监控点编号、录像类型、时间段等)进行快速定位。负载均衡管理集群采用虚拟IP技术，对外提供统一的入口IP形式，将集群的访问在集群中根据各种算法进行分摊，降低单个节点的访问压力。后端存储节点压力进行实时监控，当单台存储节点压力过大时能根据智能算法将业务平滑迁移至其他存储节点，达到整个集群间负载均衡目的。虚拟化管理支持将整个存储端统一管理，虚拟化为资源池，且将虚拟资源按池划分进行管理。支持虚拟池容量的弹性伸缩，支持虚拟池的动态调大或缩小支持在线扩容，存储设备扩容后容量动态增加至虚拟池。存储兼容对于第三方标准iSCSI设备可以整合云存储技术。项目中有接入第三方存储测试。无则免测。分散存储管理将前端数据通过特定算法，平滑分散至各个存储几点，从而降低大量回放对单台存储节点的压力。二、视频功能视频录像系统可以按照用户制定的计划保存前端设备采集的录像数据。支持手动录像。项目中有手动录像功能测试，无则免测。视频检索用户可以按监控点编号、录像类型、时间组合等条件查询录像数据。回放检索时间达到秒级。视频回放支持根据监控点编号以及时间段、录像类型对录像数据进行回放。支持快放、慢放；支持手动停止回放。视频下载支持根据编码器名称以及时间段对录像数据进行下载。视频补录支持在网络故障时将前端设备内的缓存数据主动补录到存储设备内。.. 海康前端（配置SD卡）和平台支持该功能时测试，无则免测。循环覆盖按策略支持按周期、容量进行录像数据的周期覆盖式存储。备份支持自动备份和手动备份。项目中使用了备份功能则测试。无则免测。智能检索/回放区域入侵智能检索/回放功能，支持智能摄像机的区域入侵检测功能。使用海康SmartIPC，并部署该功能时测试，无则免测。越界检索/回放功能，支持智能摄像机的越界检测功能。使用海康SmartIPC，并部署该功能时测试，无则免测三、运维管理系统信息获取支持系统信息：版本、CPU、内存、网卡、磁盘等信息的获取。系统故障告警支持系统故障(CPU、内存等超过阈值)主动告警到运维平台。存储设备告警支持设备故障、掉线主动告警到运维平台。四、接口功能　运维对接支持标准的SNMP协议对接。项目中部署与第三方运维对接时测试，无则免测接口对接支持SDK方式与上层系统进行对接。项目中部署与第三方运维对接时测试，无则免测五、系统功能.. 远程配置通过web管理界面，用户可完成节点的初始化配置。可用性历史视频图像的点击回放的延迟时间秒级播放清晰、流畅。安全性存储子系统管理采用权限、密码验证机制。1.1.1系统可靠性验收验收功能操作步骤预期结果设备容灾拔掉任意一台存储设备网线或将其关机其它存储设备可以自动接管故障设备的IPC录像业务,并能查询、回放故障业务切换完成后的所有摄像机视频录像。拔掉集群中任意一台的管理服务器的网线或将其关机；集群接管视频相关业务，存储系统正常工作。RAID容灾拔掉任意一台存储设备上任意一块数据磁盘。对应存储设备产生报警，该磁盘所在RAID进入重构模式。重构完成后，可以查询、回放相应的视频数据。电源容灾拔掉任意一台存储设备两条电源线中的其中一条。拔掉任意一台存储设备两条电源线中的其中一条，这台存储设备录像、查询、回放业务正常。拔掉管理服务器两条电源线中的其中一条拔掉管理服务器两条电源线中的其中一条，不影响这台服务器运行。智能补录断开任意IP摄像机的网线，5分钟后再连接网线一段时间后，可以在云存储系统中检索到IP摄像机断网时间段内的视频数据下载回传云存储。海康前端（配置SD卡）和平台支持该功能时测试，无则免测。虚拟空间管理对划分虚拟录像池进行扩大和缩小可以任意调整录像池存储空间大小，且不影响系统正常运行。设备在线扩展在线添加一套存储设备.. 云存储系统自动发现存储设备，整个存储空间自动增加且录像业务不中断。负载均衡查询每台存储设备上前端负载情况。云存储系统管理页面上显示每台存储设备上前端数量基本均衡。说明：如甲方提出需要进行其它方面或方式的检测要求，另行商议。。.. 第一章图片类云存储设计海康威视图片云存储系统应用于纯图片存储场景时，主要是承担整个系统内的图片数据写入/读取工作。云存储系统一方面采用了基于云架构的分布式集群设计和虚拟化设计，在系统内部实现了多设备协同工作、性能和资源的虚拟整合，最大限度利用了硬件资源和存储空间。另一方面，通过将云存储的存储功能、管理功能进行打包，通过开放透明的应用接口和简单易用的管理界面，与上层应用平台整合后，为整个安防监控系统提供了高效、可靠的数据存储服务。图片类的云存储设计方案提供抓拍机单元直写云存储和非直写云存储两套方案。在直写云存储方案中，图片数据由前端抓拍机直接写入存储设备内，大量减少了行业平台的接入服务器的数量。但直存云存储方案目前仅支持我司抓拍机单元。非直存方案对抓拍机单元无限制，但对于平台内服务器的数量和要求没有变化。1.1系统软硬件设计1.1.1软件设计1.1.1.1视频云存储管理软件CVM视频云存储管理软件：CVM（CloudVideoManage）整套软件，主要功能包括视频云存储系统内资源管理、存储节点管理、集群管理、策略调度、运维监控等。软件包含六大功能模块，分别为：索引管理模块、调度管理模块、集群管理模块、计划管理模块、资源管理模块、辅助管理模块，整体软件架构如下图所示：.. 图1.CVM软件架构1、索引管理模块索引管理模块集群化管理集群中的全部管理节点，能并发响应用户的检索、插入、修改和删除操作情况，提供一体化、高并发、快响应的索引服务。同时，索引管理模块提供图片索引、标注索引服务，支持以通道号、时间段、和锁定状态为条件的视频和图片信息检索服务，也提供统一资源定位符（URL）形式的WEB访问图片方式，支持以通道号和时间段为条件插入、修改、删除和检索标注的功能，以及根据标注关键字检索视频的特色功能。2、调度管理模块调度管理模块根据集群中设备的负载状况灵活的调度集群资源为应用业务提供支撑。作为集群系统中的逻辑引擎根据不同的逻辑策略执行不同的调度算法，提供资源分配调度、分散策略调度、循环覆盖调度、录像计划调度等服务。3、集群管理模块.. 集群管理模块统一管理集群中分布式设备节点，包括管理节点和存储节点。它负责管理节点之间关键信息的实时同步，保证集群中不同管理节点信息的一致性，无差异化的对外提供服务。同时也负责管理存储节点，将存储节点加入到集群中作为存储资源的一部分，集群管理模块维护集群中设备节点的实时状态信息，对外提供设备状态查询接口便于管理和了解集群的整体运行状态信息。1、计划管理模块计划管理模块负责负责录像计划的管理、下发、切换，保存外部平台下发的录像计划，调度系统中的录像计划并执行录像计划，当接入服务器异常时负责动态切换录像计划到其它接入服务器。2、资源管理模块资源管理模块负责对集群中所有存储设备的存储空间进行统一管理，根据入网存储设备上报的资源信息计算出集群存储总容量和空闲容量，负责创建、删除录像池，为存储业务分配合适的存储资源。同时能动态的调整录像池的大小，弹性的对录像池进行扩容或者缩减，将集群存储空间切分成细小独立的存储单元，再根据用户需要将很多个存储单元有机组合后虚拟化成录像池对外提供存储服务。3、辅助管理模块辅助管理模块包含日志管理、运维管理、数据迁移等功能，日志管理为其他模块提供日志打印服务，对外具备日志查询和日志文件下载功能，包含调试日志、事件提示日志、错误日志、告警日志和重要日志。运维管理云视频管理节点的运行参数获取接口，供运维平台获取管理节点的实时运行信息。数据迁移功能对外提供将第三方数据迁移到本视频云存储系统中保存的功能。1.1.1.1视频云存储软件CVS视频云存储软件：CVS（CloudVideoStorage）是视频云存储系统中的重要模块。CVS集成在视频云存储节点（CVSN）上，在每一台海量数据存储设备上都必须装载该软件模块。.. 视频云存储软件（CVS）接受视频云管理软件（CVM）的管理，从接入服务器接受海量图片数据，高效无误的存放在本机的Raid或iSCSI设备中，方便用户通过接入服务器进行查询。在一套视频云存储系统中，CVS可以部署一到多台，其中每一台都是对等的。视频云存储软件按照功能模块化设计，整体软件架构如下图所示：图1.CVS软件架构1、通信模块本模块主要是负责和CVM进行数据信息的交互，采用多线程并发接收和发送数据的方式，高效完成跨机器的数据交互。2、运维管理本模块主要是负责和云存储运维软件进行交互，采集系统数据及程序运行数据，并按照特定协议格式发送给云存储运维软件，方便平台对整个云存储系统运行状态进行实时监控，如有问题出现，可以及时报警给相关人员进行处理。3、图片接入本模块主要是负责处理从上层行业平台的接入服务器传输进来的海量图片数据，并按分类进行一定的逻辑处理。采用多线程的处理方式，可同时支持多路的视频和图片数据接入。.. 1、日志管理本模块主要是负责对CVS的日志进行统一管理，记录一些重要事件，方便事件回溯，对外提供日志查询和日志下载功能。2、图片文件系统本模块根据图片的特性，定义流式存储结构，主要是负责数据的高效读、写。3、数据库管理本模块主要是负责对CVS系统运行时需要临时存放的一些重要数据进行保存，可以方便的以SQL接口提供插入和查询，简化数据存放和获取的机制。1.1.1.1异构存储软件ASS异构存储软件：ASS（AsynchronousStorageService），主要负责接入第三方iSCSI/FC标准存储设备。软件集成安装在ASSN节点内，具体负责接入第三方iSCSI/FC存储设备的工作。软件主要由三个模块实现，分别为识别模块、挂载模块和管理模块；主要和CVS交互。通过识别模块和挂载模块实现对第三方标准存储设备的兼容工作。通过管理模块与存储设备以及上层CVS之间进行交互。整体软件架构如下图所示：图1.ASS软件架构1、识别模块探测到异构设备后获取其相关系统信息，将其视作为存储设备，在设备目录中添加相应节点。.. 1、挂载模块将新加的设备节点转化为通用存储设备节点，并挂载到软件系统中以备CVS使用。2、管理模块本模块的功能是：将通用本机内存储设备和异构设备统一管理，实现设备的加入和退出，以及相关状态的保存和记录。除上述三项软件外，在云存储系统内部实现了运维信息的收集与告警机制。该机制负责对云储存系统内的设备和资源的运行情况进行统一监控，以标准的SNMP协议与将机器运行状态以及产品特性运行指标反馈给运维系统。实现对设备状态实时检测，对异常状态实时报警，如：硬盘丢失、CPU/内存使用率过高、存储空间不足、设备温度过高、管理服务器运行异常、设备下线等。1.1.1硬件设计1.1.1.1视频云存储管理节点CVMN视频云存储管理节点：CVMN（CloudVideoManageNode）是在服务器上集成安装视频云管理软件CVM（CloudVideoManger）。其主要功能包括视频云存储系统内资源管理、存储节点管理、集群管理、策略调度、运维监控等。根据视频云存储系统的规模情况和可靠性要求管理节点部署可分为：双机部署、集群部署。其中集群部署适用于较大型的视频云存储系统，可以进行三台或三台以上配备，集群部署的服务器台数必须是奇数增加。集群部署的优势在于通过视频云存储管理节点内部集群功能将协调各节点设备资源，将用户配置、数据库信息、策略计划进行统一进行调度，整体性能呈现线性增长。同时也增加了系统的可靠性，多台设备的故障不会影响到系统的运行。无论是HA部署模式还是集群部署模式，视频云存储使用唯一的虚拟IP地址对外提供服务。.. 1.1.1.1视频云存储节点CVSN视频云存储节点：CVSN（CloudVideoStorageNode）是在存储设备上集成安装视频云存储软件CVS（CloudVideoStorage）。其主要功能是响应视频云存储管理节点和应用层的图片存储、查询、下载等操作申请，以及管理物理存储设备和空间，视频云存储管理节点软件模块具有以下功能：Ø负责将接收到的图片数据写入到存储底层或从存储底层读取数据，通过协议接口主要向API提供图片存储、查询、回放及下载服务。Ø提供存储设备的状态检测和信息上报功能。Ø存储底层：使用Raid技术来保证数据安全，支持节能的磁盘休眠功能。1.1.1.2第三方存储服务节点ASSN第三方存储服务节点：ASSN（AsynchronousStorageServiceNode）是在服务器上集成安装异构存储软件ASS（AsynchronousStorageService）和视频云存储软件CVS（CloudVideoStorage）的接入第三方存储服务节点。其主要功能是通过安装异构软件（ASS）完成对第三方iSCSI/FC标准存储设备的接入，实现对项目已有资源的兼容性利用。使得第三方存储设备通过ASSN的整合后，具备与CVSN同样的功能。1.2系统物理拓扑视频云存储系统主要由存储管理节点和存储节点（物理存储设备）两部分组成。系统内部需要配置的元数据信息由云存储管理服务器统一管理，管理节点还需要负责集群内部的负载均衡，失败替换等管理职能；视频云存储系统可以组建海量的存储资源池，容量分配不受物理硬盘数量的限制；并且存储容量可进行线性在线扩容，性能和容量的扩展都可以通过在线扩展完成。在实际项目中，根据前端抓拍机的不同，云存储系统的物理结构有所不同。前端为海康威视抓拍机，采用图片直存模式，无需部署中间服务器转发；.. 前端为第三方抓拍机，需要部署接入服务器，将图片数据转存入存储设备内。视频云存储物理结构如下图所示：图1.图片类云存储系统物理结构视频云存储管理节点（CVMN）：部署存储管理服务器，是视频云存储系统的核心节点，作为云存储系统的调度中心负责云存储系统资源管理、索引管理、策略调度等。根据项目对存储容量需求、前端支撑数目、性能要求、可靠性要求，存储管理节点可以按照两种方式部署：双机部署、集群部署。视频云存储节点（CVSN）：作为云存储系统业务的具体执行者负责图片.. 数据存储、读取、存储设备管理、存储空间管理等。1.1系统功能设计海康威视图片类云存储系统主要功能如下图所示：图1.视频云存储系统功能1.1.1图片存储功能功能项功能说明图片写入支持图片数据写入存储，返回URL地址图片下载支持按时间段下载图片。支持浏览器http的URL方式下载图片。图片压缩支持图片大小压缩和尺寸缩放。图片锁定支持指定的图片进行锁定，锁定后的数据不被循环覆盖掉。支持已锁定的图片锁定时长到期自动解锁。.. 图片删除支持单张图片URL方式删除。支持按照时间段删除图片。周期覆盖按策略支持按周期、容量进行图片数据的周期覆盖式存储。1.1.1系统管理功能功能项功能说明集群化管理索引采用集群方式，无单点故障，保证索引数据的安全性。集群采用快速索引管理，能根据用户的各种查询条件进行快速定位。负载均衡管理集群前端用虚拟IP技术，对外提供统一的入口IP形式，将集群的访问在集群中根据各种算法进行分摊，降低单个节点的访问压力。后端存储节点压力进行实时监控，当单台存储节点压力过大时能根据智能算法将业务平滑迁移至其他存储节点，达到整个集群间负载均衡目的。虚拟化管理支持对存储设备统一管理，虚拟化为资源池，且将虚拟资源划分为块进行管理。对用户重要数据，通过虚拟块之间的相互复制技术，达到多份备份目的。使用户数据处于长期在线状态。自动精简管理动态分配存储空间，通过实时的数据情况调整和分配系统内存储资源空间，提高系统存储空间利用率。分散存储管理将前端数据通过特定算法，平滑分散至各个存储节点，从而降低大量下载对单台存储节点的压力。存储空间管理支持为存储空间的动态分配、调整，记录日志。1.1.2运维管理功能功能项功能说明系统信息获取支持系统信息：版本、CPU、内存、网卡、磁盘等信息的获取。系统故障告警支持系统故障（CPU、内存等超过阈值）主动告警到运维平台。存储设备告警支持设备故障、掉线会主动告警到运维平台。标准协议对接支持标准的SNMP协议对接。.. 1.1系统业务流程1.1.1图片存储流程云存储的图片存储流由两种不同流程组成：1、图片直存方式；2、图片非直存方式。图片直存云存储的方式可以省去行业平台的接入服务器，但直存云存储方案目前仅支持我司抓拍机单元。非直存云存储方式对抓拍机单元无限制，但对于平台内服务器的数量和要求没有变化1.1.1.1图片直存流程图片数据存储：直存流程由卡口抓拍设备发起，抓拍机抓取图片后主动写入云存储中。写入完成后将云存储返回的URL地址上传至平台的接入服务器，由接入服务器写入数据库中保存。存储节点设备之间能够自动进行均衡负载，保证在故障时做到自动切换，不间断的提供图片数据的存储业务。详细的图片存储流程如下图所示：.. 图1.图片直存流程流程优点：1、图片数据由前端抓拍机直写入云存储，节省了大量接入服务器。2、图片数据的存储方案提供前端较高的兼容性能，能够支持多厂商前端的图片写入。3、图片数据是分散存储，将接入服务器推送的图片按照算法分散到不同的存储服务器上，提高数据写的速度，在可靠性和安全性上得到了加强。1.1.1.1图片非直存流程图片数据存储：视频监控平台向视频云存储管理节点索要图片存储资源，存储管理节点直接分配存储资源给监控平台，接入服务器开始将图片数据推送至指定存储资源内。存储节点设备之间能够自动进行均衡负载，保证在故障时做到自动切换，不间断的提供图片数据的存储业务。详细的图片存储流程如下图所示：.. 图1.图片非直存流程流程优点：1、部署接入服务器转发图片数据，能兼容更多前端抓拍设备；2、图片数据是分散存储，将接入服务器推送的图片按照算法分散到不同的存储服务器上，提高数据写的速度，在可靠性和安全性上得到了加强。1.1.1图片检索流程图片数据的索引数据是存储在平台自身的数据库中，包含云存储URL地址、过车信息等。因此图片检索流程由平台完成。1.1.2图片下载流程图片数据下载：用户通过视频监控平台下载监控点图片时，视频监控平台向视频云存储系统发送下载数据的请求，存储管理服务器转发请求到存储节点，数据从存储节点由数据管理服务软件直接（或转发）送至视频监控平台。详细的图片下载流程如下图所示：.. 图1.图片下载流程流程优点：图片数据是分散存储的，便于数据的快速提取及分析，提高了数据读取的速度，在可靠性和安全性上得到了加强。1.1系统项目设计1.1.1项目信息收集根据项目规模的大小及具体的项目要求，云存储系统提供满足用户需求的解决方案，因此项目前期沟通一定要做好项目信息的收集整理工作。对于直存还是非直存方案对云存储的软硬件配置并无影响。直存方案所减少的服务器数量可以参考交通行业平台方案或向交通行业同事咨询。图片类云存储需搜集的信息：.. 1、图片数据存储是否采用集中存储的方式、机房的建设情况、网络的规划等。这些信息用于云存储详细方案的设计。因为云存储的部署采用的是集中存储模式，所有设备集中放置在中心机房内。实际项目中可以根据机房、网络的情况设计为单云或者多云的方案。2、前端路数、车道数、单车道每天过车数量、抓拍图片大小、存储时间等这些信息主要用于项目存储容量计算、云存储设备数量的计算；其中图片抓拍机前端的通道数决定了云存储管理服务器的规模和配置；其他信息则用于计算云存储系统的整体容量。3、第三方平台、前端、存储阵列具体厂商、型号等云存储系统作为海康威视整体解决方案中的一个部分，主要支撑我司自有产品。对于涉及第三方产品收集具体信息后可以遵从以下原则设计：（1）、第三方平台兼容云存储系统需要进行定制开发，项目中是否开放云存储接口需由武汉研发中心云存储部门确认。（2）、第三方前端直存方案支持标准协议如：Onvif、RTSP、GB/T-28181等；（3）、第三方存储阵列支持标准IP-SAN的接入，但需要增加服务器、增加软件定制费用；4、定制化功能需求定制化存储需求指的是云存储本身不具备的功能要求，云存储具体功能可见4.3系统功能设计；该部分需要与武汉研发中心云存储部门确认，并收软件定制化费用。1.1.1云存储设计流程通过对项目信息的收集工作，我们对云存储系统所要承担的工作内容和大致规模有了初步的了解。之后就针对云存储系统中的每个节点单独进行分析和设计，最后输出软硬件清单。整体流程如下：1、确定云存储的套数；.. 1、针对每套云存储单独设计；2、设计每套的云存储管理服务器；3、设每套的云存储存储设备；4、列出软硬件清单。在云存储系统的设计方案中，尽可能设计为一套云存储系统。但是由于项目中建设方可提供的机房环境无法保证在一个机房内部署所有的云存储设备，或是网络带宽无法保证前端的数据能集中传输到该机房时，可以根据实际情况设计多个云存储系统。原则是每个机房一套独立的云存储系统。在多云方案中，多套的云存储通过平台进行整合，依然可以提供非常高效、稳定的存储服务。1.1.1云存储管理服务器设计1.1.1.1管理节点双机部署当项目中车道数量小于1024路时，云存储管理节点采用2台服务器做HA双机部署模式。管理节点双机部署是一种可靠性较高的部署方式。此种方式是采用两台服务器并安装相应的视频云存储管理软件，形成视频云存储管理节点。通过云存储管理软件使两台服务器一台工作，一台备份，它们对外维护唯一的IP地址。此种部署方式的两台服务器通过运行双机热备模式，可实现应用服务的故障切换，提高了视频云存储管理节点的可靠性和稳定性，工作性能也得到了保证。双机部署物理拓扑如下图所示：.. 图1.管理节点双机部署方式管理节点双机部署内容设备名称数量安装软件备注服务器2视频云存储管理软件（CVM）存储设备M视频云存储软件（CVS）M≤641.1.1.1管理节点集群部署当项目中的车道数量超过1024路时可采用管理服务器集群模式。集群部署可以保持规模与性能的线性增长，三台管理服务器集群可以支撑4000路以内的摄像机通道规模。如果摄像机通道规模更大可以通过增加管理服务器台数来提高集群的性能，如5台管理服务器可支撑6000路、7台管理服务器可支撑8000路。管理服务器的数量必须为奇数。无论集群内有多少台服务器，对外呈现为唯一的IP地址。管理节点集群部署是一种高可靠性、高稳定性的部署方式，此种方式是采用三台或三台以上奇数台服务器组成，安装视频云存储管理软件并运行集群工作模式，形成视频云存储管理集群。此种集群工作模式，可实现单台或多台服务器应用的故障切换和负载均衡，.. 提高了视频云存储管理节点的可靠性和稳定性，系统性能也得到了很大的提高，是大型视频监控项目首选的部署方式。集群部署物理拓扑如下图所示：图1.管理节点集群部署方式管理节点集群部署内容设备名称数量安装软件备注服务器N视频云存储管理软件（CVM）服务器数量为N≥3的奇数存储设备M视频云存储软件（CVS）1.1.1存储容量计算具体容量计算及存储设备数量可参见《视频云存储容量计算工具》。1.1.1.1车辆图片数据存储容量车辆图片信息采用JPEG编码格式，符合ISO/IEC1544∶2000要求，压缩因子不高于70，200万高清摄像机输出照片文件平均大小为300Kb，例如按单车道日均2000辆流量估算，一个车道的图片信息按6个月的时间的容量计算公式如下：2000辆×0.3MB×1车道×30天/月×6个月/1024/1024＝0.1TB.. 总存储容量=0.1×卡口数量×车道数车辆图片数据根据具体情况（按照XX个车辆卡口，双向四车道计算），存储容量需求为：0.1×XX×4=XXTB。因此系统建设存储设备容量为XXTB。在项目设计需提前规划适当的冗余容量。一般在需求容量的10%~25%。1.1.1.1存储设备配置以24盘位网络存储设备为例，为了保证数据的可靠性，存储设备一般采用如下冗余措施：每台设备配置1片热备盘，剩余23片盘做两组RAID5（建议：16盘位做两组RAID5，48盘位做4组RAID5）。1）采用3TB企业级硬盘，标准3TB硬盘的由于十进制与二进制计数的不同，其实际容量为3000GB/1.024/1.024/1.024=2794GB；2）考虑到RAID5冗余措施，每台设备可用的有效存储硬盘位21片，同时考虑5%的空间损失，则每台存储设备的净存储空间为：单台存储设备净存储空间=两组RAID容量之和2794GB×11×0.95/1024+2794GB×10×0.95/1024≈54.43TB3）根据容量计算出所需要的存储设备数量和硬盘数量为：存储设备台数M=系统总存储容量/每台设备的净存储空间硬盘个数A=存储设备台数M×24（盘位）1.2系统软硬件总参考清单通过以上计算后得出了云存储系统的管理服务器和存储设备的硬件数量。每套云存储系统中仅需要一套云存储软件iVMS-5120。设备清单如下表：视频云存储系统配置清单.. 1、视频云存储系统硬件设备清单硬件项目数量单位参数说明备注视频云存储管理服务器N台　双机模式：2台；集群模式：>=3,奇数；视频云存储主机M台　　2、视频云存储系统软件清单软件项目数量单位参数说明备注视频云存储管理软件1套　iVMS-51201.1系统设备的验收系统技术验收将对设备数量、设备性能参数、系统的集群管理、图片功能、运维管理、接口功能、系统可靠性等几方面进行验收，并对系统进行模拟硬盘故障、电源故障、网络故障、存储设备故障等破坏性实验，以检验实验过程中视频数据是否丢失。系统验收需根据项目实际的业务场景、功能选型进行选取。下列表格中的内容在实际场景未使用时，可不作为验收项使用。1.1.1系统功能的验收功能项功能说明备注一、集群管理索引集群管理索引采用集群方式，无单点故障，保证索引数据的安全性。集群采用快速索引管理，能进行快速定位。负载均衡管理集群采用虚拟IP技术，对外提供统一的入口IP形式，将集群的访问在集群中根据各种算法进行分摊，降低单个节点的访问压力。后端存储节点压力进行实时监控，当单台存储节点压力过大时能根据智能算法将业务平滑迁移至其他存储节点，达到整个集群间负载均衡目的。虚拟化管理支持将整个存储端统一管理，虚拟化为资源池，且将虚拟资源按池划分进行管理。.. 支持虚拟池容量的弹性伸缩，支持虚拟池的动态调大或缩小支持在线扩容，存储设备扩容后容量动态增加至虚拟池。存储兼容对于第三方标准iSCSI设备可以整合云存储技术。项目中有接入第三方存储测试。无则免测。分散存储管理将前端数据通过特定算法，平滑分散至各个存储几点，从而降低大量对单台存储节点的压力。循环覆盖按策略支持按周期、容量进行录像数据的周期覆盖式存储。备份支持自动备份和手动备份。项目中使用了备份功能则测试。无则免测。二、图片功能：根据项目实际情况选择测试图片写入支持图片数据写入存储，返回URL地址图片下载支持按时间段下载图片；支持http的URL方式下载图片。图片压缩支持图片大小压缩和尺寸缩放。循环覆盖按策略支持按周期、容量进行图片数据的周期覆盖式存储。http访问支持用户使用浏览器直接查看图片。三、运维管理系统信息获取支持系统信息：版本、CPU、内存、网卡、磁盘等信息的获取。系统故障告警支持系统故障(CPU、内存等超过阈值)主动告警到运维平台。存储设备告警支持设备故障、掉线主动告警到运维平台。五、接口功能　运维对接支持标准的SNMP协议对接。项目中部署与第三方运维对接时测试，无则免测.. 接口对接支持SDK方式与上层系统进行对接。项目中部署与第三方运维对接时测试，无则免测五、系统功能远程配置通过web管理界面，用户可完成节点的初始化配置。可用性历史数据下载低延时。安全性存储子系统管理采用权限、密码验证机制。1.1.1系统可靠性验收验收功能操作步骤预期结果设备容灾拔掉任意一台存储设备网线或将其关机其它存储设备可以自动接管故障设备的存储业务,并能查询、下载故障业务切换完成后的所有图片数据。拔掉集群中任意一台的管理服务器的网线或将其关机；集群接管视频相关业务，存储系统正常工作。RAID容灾拔掉任意一台存储设备上任意一块数据磁盘。对应存储设备产生报警，该磁盘所在RAID进入重构模式。重构完成后，可以查询、回放相应的视频数据。电源容灾拔掉任意一台存储设备两条电源线中的其中一条。拔掉任意一台存储设备两条电源线中的其中一条，这台存储设备录像、查询、回放业务正常。拔掉管理服务器两条电源线中的其中一条拔掉管理服务器两条电源线中的其中一条，不影响这台服务器运行。虚拟空间管理对划分虚拟录像池进行扩大和缩小可以任意调整录像池存储空间大小，且不影响系统正常运行。设备在线扩展在线添加一套存储设备云存储系统自动发现存储设备，整个存储空间自动增加且录像业务不中断。说明：如甲方提出需要进行其它方面或方式的检测要求，另行商议。.. 。.. 第一章视频、图片混合云存储设计海康威视视频云存储系统应用于视频、图片混合存储时，主要是承担整个系统内的视频/图片的数据写入/读取工作。云存储系统一方面采用了基于云架构的分布式集群设计和虚拟化设计，在系统内部实现了多设备协同工作、性能和资源的虚拟整合，最大限度利用了硬件资源和存储空间。另一方面，通过将云存储的存储功能、管理功能进行打包，通过开放透明的应用接口和简单易用的管理界面，与上层应用平台整合后，为整个安防监控系统提供了高效、可靠的数据存储服务。1.1系统软硬件设计1.1.1软件设计混合类云存储系统主要由四大部件组成：云存储管理软件（CVM），云存储软件（CVS），云存储接入软件（CVA）以及云存储异构软件（ASS）。下面分别介绍四大软件内部结构及功能。1.1.1.1视频云存储管理软件CVM视频云存储管理软件：CVM（CloudVideoManage）整套软件，主要功能包括视频云存储系统内资源管理、存储节点管理、集群管理、策略调度、运维监控等。软件包含六大功能模块，分别为：索引管理模块、调度管理模块、集群管理模块、计划管理模块、资源管理模块、辅助管理模块，整体软件架构如下图所示：.. 图1.CVM软件架构1、索引管理模块索引管理模块集群化管理集群中的全部管理节点，能并发响应用户的检索、插入、修改和删除操作情况，提供一体化、高并发、快响应的索引服务。同时，索引管理模块提供视频索引、图片索引、标注索引服务，支持以通道号、时间段、录像类型和锁定状态为条件的视频和图片信息检索服务，也提供统一资源定位符（URL）形式的WEB访问图片方式，支持以通道号和时间段为条件插入、修改、删除和检索标注的功能，以及根据标注关键字检索视频的特色功能。2、调度管理模块调度管理模块根据集群中设备的负载状况灵活的调度集群资源为应用业务提供支撑。作为集群系统中的逻辑引擎根据不同的逻辑策略执行不同的调度算法，提供资源分配调度、分散策略调度、循环覆盖调度、录像计划调度等服务。.. 1、集群管理模块集群管理模块统一管理集群中分布式设备节点，包括管理节点和存储节点。它负责管理节点之间关键信息的实时同步，保证集群中不同管理节点信息的一致性，无差异化的对外提供服务。同时也负责管理存储节点，将存储节点加入到集群中作为存储资源的一部分，集群管理模块维护集群中设备节点的实时状态信息，对外提供设备状态查询接口便于管理和了解集群的整体运行状态信息。2、计划管理模块计划管理模块负责负责录像计划的管理、下发、切换，保存外部平台下发的录像计划，调度系统中的录像计划并执行录像计划，当接入服务器异常时负责动态切换录像计划到其它接入服务器。3、资源管理模块资源管理模块负责对集群中所有存储设备的存储空间进行统一管理，根据入网存储设备上报的资源信息计算出集群存储总容量和空闲容量，负责创建、删除录像池，为存储业务分配合适的存储资源。同时能动态的调整录像池的大小，弹性的对录像池进行扩容或者缩减，将集群存储空间切分成细小独立的存储单元，再根据用户需要将很多个存储单元有机组合后虚拟化成录像池对外提供存储服务。4、辅助管理模块辅助管理模块包含日志管理、运维管理、数据迁移等功能，日志管理为其他模块提供日志打印服务，对外具备日志查询和日志文件下载功能，包含调试日志、事件提示日志、错误日志、告警日志和重要日志。运维管理云视频管理节点的运行参数获取接口，供运维平台获取管理节点的实时运行信息。数据迁移功能对外提供将第三方数据迁移到本视频云存储系统中保存的功能。1.1.1.1视频云存储软件CVS视频云存储软件：CVS（CloudVideoStorage）是视频云存储系统中的重要模块。CVS集成在视频云存储节点（CVSN）上，在每一台海量数据存储设备上都必须装载该软件模块。.. 视频云存储软件（CVS）接受视频云管理软件（CVM）的管理，从视频云接入软件（CVA）接收海量视频，高效无误的存放在本机的Raid或iSCSI设备中，方便用户通过CVA进行查询。视频云存储存储管理软件（CVM）会均衡分配多台视频云存储软件（CVS）的业务负载量，使整个系统的读写性能达到最佳。视频云存储软件按照功能模块化设计，整体软件架构如下图所示：图1.CVS软件架构1、通信模块本模块主要是负责和CVA及CVM进行数据信息的交互，采用多线程并发接收和发送数据的方式，高效完成跨机器的数据交互。2、运维管理本模块主要是负责和运维进行交互，采集系统数据及程序运行数据，并按照特定协议格式发送给运维系统，方便平台对整个云存储系统运行状态进行实时监控，如有问题出现，可以及时报警给相关人员进行处理。3、视频/图片接入本模块主要是负责处理从CVA传输进来的视频已经从接入服务器传输进来的图片等数据，并按分类进行一定的逻辑处理。采用多线程的处理方式，可同时支持多路的视频和图片数据接入。.. 1、日志管理本模块主要是负责对CVS的日志进行统一管理，记录一些重要事件，方便事件回溯，对外提供日志查询和日志下载功能。2、视频/图片文件系统本模块根据视频、图片的特性，定义流式存储结构，主要是负责数据的高效读、写。3、数据库管理本模块主要是负责对CVS系统运行时需要临时存放的一些重要数据进行保存，可以方便的以SQL接口提供插入和查询，简化数据存放和获取的机制。1.1.1.1视频云存储接入软件CVA视频云接入软件CVA（CloudVideoAccess）视频云接入软件是整个系统的重要组成部分，主要包括录像任务管理、录像服务、设备状态管理和部分流媒体转发服务等功能。视频云接入软件支持定时录像、移动侦测录像和事件录像（如：手动录像），其中事件录像的优先级要高于定时录像和移动侦测录像。视频云接入软件实时检测用户配置的录像计划任务信息表，当接入软件检测到有通道需要执行录像任务时，接入软件首先通知流媒体服务从前端设备读取视频数据，然后根据录像类型执行相关录像。视频云接入软件按照功能模块化设计，软件包括六大功能模块：录像任务管理、流媒体服务、设备状态管理、负载信息管理、录像服务、视频帧分析。整体软件架构如下图所示：.. 图1.CVA软件架构1、录像任务管理录像任务管理功能主要包括定时录像管理、移动侦测录像管理和事件录像管理等功能。定时录像和移动侦测录像是用户设置的计划录像，事件录像是用户计划外的录像。录像管理功能需要按照用户的需求从前端设备获取视频数据、执行录像、停止录像和停止从前端设备取流等操作。Ø移动侦测录像，录像管理功能首先需要对前端设备布防，并监控前端设备的报警状态，同时还可以根据用户的需求提前从前端设备获取视频数据，通过预先获取数据流保证了视频的完成性，当接入软件收到前端设备的移动侦测报警命令后，立即执行录像。Ø.. 事件录像，录像管理功能接收到事件录像命令，首先检索当前通道是否有定时录像或移动侦测录像，如果没有上述两种录像，立即执行录像，事件录像的优先级要高于移动侦测录像和定时录像。1、流媒体服务流媒体服务主要包括流媒体转发模块和流控制管理模块，流媒体服务具有稳定和高效等特点，整个系统提供持续的视频数据支持。流媒体服务传输视频数据支持RTSP、TCP和UDP协议，可以根据不同环境选择合适当前网络性能的传输方式。流媒体服务视频流转发功能：流媒体服务从前端设备获取到视频流后可以根据用户的需要将视频流转发给多个用户或设备。通过视频转发功能降低了前端设备的压力，节省了网络带宽，极大的提高了系统性能。2、设备状态管理设备状态管理是云存储接入软件的基础功能，它主要包括监控前端设备状态、布防状态和取视频数据流的状态。Ø前端设备状态监控：状态管理功能实时获取前端设备的状态，当检测到前端设备异常，接入软件会及时上报。Ø设备布防状态监控：状态管理功能实时监控前端设备的布防状态，当前端设备布防失败，接入软件会及时上报。Ø读取视频流状态监控：状态管理功能实时监控流媒体服务的工作状态、如果流媒体服务取视频流时发生异常，接入软件会及时上报。3、负载信息管理负载信息管理功能主要是接入软件实时监控当前服务器的内存和CPU使用情况，并定时上报当前服务器的资源使用信息，管理系统可以根据上报的服务器资源使用信息管理录像计划。4、录像服务录像服务包括取流管理模块和执行录像服务模块两个部分。录像服务.. 接收录像任务管理模块下发的录像信令，当录像服务接收到录像任务管理模块开启录像信令后，首先通过取流模块向流媒体服务发送取流信令，然后将流媒体转发的视频数据发送到云视频存储软件为一次录像的开始。当录像服务接收到录像任务管理模块下发的停止录像信令，录像服务首先向流媒体服务发送停止取流的信令，然后通知云视频存储软件停止录像为一次录像的结束。1、视频帧分析帧分析模块主要是对流媒体服务读取的视频数据进行帧分析，从视频数据中分析出关键帧等信息，为系统提供关键帧查询和关键帧回放提供技术支持。1.1.1.1视频云存储异构软件ASS异构存储软件ASS（AsynchronousStorageService）主要负责接入第三方iSCSI/FC标准存储设备，软件集成安装在ASSN节点内，具体负责接入第三方iSCSI/FC存储设备的工作。软件主要由三个模块实现，分别为识别模块、挂载模块和管理模块；主要和CVS交互。通过识别模块和挂载模块实现对第三方标准存储设备的兼容工作。通过管理模块与存储设备以及上层CVS之间进行交互。整体软件架构如下图所示：图1.ASS软件架构1、识别模块探测到异构设备后获取其相关系统信息，将其视作为存储设备，在设备目录中添加相应节点。2、挂载模块将新加的设备节点转化为通用存储设备节点，并挂载到软件系统中以备.. CVS使用。1、管理模块本模块的功能是：将通用本机内存储设备和异构设备统一管理，实现设备的加入和退出，以及相关状态的保存和记录。除上述三项软件外，在云存储系统内部实现了运维信息的收集与告警机制。该机制负责对云储存系统内的设备和资源的运行情况进行统一监控，以标准的SNMP协议与将机器运行状态以及产品特性运行指标反馈给运维系统。实现对设备状态实时检测，对异常状态实时报警，如：硬盘丢失、CPU/内存使用率过高、存储空间不足、设备温度过高、管理服务器运行异常、设备下线等。1.1.1硬件设计混合类云存储系统硬件主要由存储管理服务器（存储管理节点CVMN）、存储设备（存储节点CVSN）及异构服务器（第三方存储服务节点ASSN）组成。1.1.1.1视频云存储管理节点CVMN视频云存储管理节点相关介绍请参考3.1.2.1章节1.1.1.2视频云存储节点CVSN视频云存储节点相关介绍请参考3.1.2.2章节1.1.1.3第三方存储服务节点ASSN第三方存储服务节点相关介绍请参考3.1.2.2章节1.2系统物理拓扑视频图片混合云存储系统主要由存储管理节点（服务器）和存储节点（物理存储设备）两部分组成。系统内部需要配置的元数据信息由云存储管理服务器统一管理，云存储管理服务器.. 还需要负责集群内部的负载均衡，失败替换等管理职能；云存储系统可以组建海量的存储资源池，容量分配不受物理硬盘数量的限制；并且存储容量可进行线性在线扩容，性能和容量的扩展都可以通过在线扩展完成。视频图片混合云存储物理结构如下图所示：图1.视频图片混合云存储物理结构图视频云存储管理节点（CVMN）：部署存储管理服务器，是视频云存储系统的核心节点，作为云存储系统的调度中心负责云存储系统资源管理、索引管理、计划管理、策略调度等。根据项目对存储容量需求、前端支撑数目、性能要求、可靠性要求，存储管理节点可以按照两种方式部署：HA部署、集群部署。视频云存储节点（CVSN）：.. 作为云存储系统业务的具体执行者负责视频数据存储、读取、存储设备管理、存储空间管理等。1.1系统功能设计海康威视视频云存储系统面向视频、图片应用定制化开发，提供了丰富的功能接口供上层视频监控平台调用，主要功能如下图所示：图1.视频云存储系统功能图1.1.1视频存储功能视频存储功能相关介绍请参考3.3.1章节1.1.2录像管理功能录像管理功能相关介绍请参考3.3.2章节1.1.3图像存储功能图片存储功能相关介绍请参考4.3.1章节.. 1.1.1系统管理功能系统管理功能相关介绍请参考3.3.3章节1.1.2运维管理功能运维管理功能相关介绍请参考3.3.4章节1.2系统业务流程下面分别介绍视频存储、检索、读取、补录、备份以及图片存储、检索、下载流程。1.2.1视频业务流程视频存储流程请参考3.4章节1.2.2图片业务流程图片存储流程请参考4.4章节1.3系统项目设计1.3.1项目信息收集根据项目规模的大小及具体的项目要求，云存储系统提供满足用户需求的解决方案，因此项目前期沟通一定要做好项目信息的收集整理工作。混合类云存储需搜集的信息：1、视频图片数据存储是否采用集中存储的方式、机房的建设情况、网.. 络的规划等。这些信息用于云存储详细方案的设计。因为云存储的部署采用的是集中存储模式，所有设备集中放置在中心机房内。实际项目中可以根据机房、网络的情况设计为单云或者多云的方案。1、业务相关信息收集视频信息：前端路数、码流、存储时间等图片信息：车道数、单车道车流量、图片大小、存储时间等这些信息主要用于项目存储容量计算、云存储设备数量的计算；其中视频前端的通道数和图片前端的车道数综合决定了云存储管理服务器的规模和配置；其他信息则用于计算云存储系统的整体容量。2、第三方平台、前端、存储阵列具体厂商、型号等云存储系统作为海康威视整体解决方案中的一个部分，主要支撑我司自有产品。对于涉及第三方产品收集具体信息后可以遵从以下原则设计：1)第三方平台兼容云存储系统需要进行定制开发，项目中是否开放云存储接口需由武汉研发中心云存储部门确认。2)第三方前端直存方案支持标准协议如：Onvif、RTSP、GB/T-28181等；3)第三方存储阵列支持标准IP-SAN的接入，但需要增加服务器、增加软件定制费用；3、定制化功能需求定制化存储需求指的是云存储本身不具备的功能要求，云存储具体功能可见3.3系统功能设计；该部分需要与武汉研发中心云存储部门确认，并收软件定制化费用。1.1.1云存储设计流程通过对项目信息的收集工作，我们对云存储系统所要承担的工作内容和大致.. 规模有了初步的了解。之后就针对云存储系统中的每个节点单独进行分析和设计，最后输出软硬件清单。整体流程如下：1、确定云存储的套数；2、针对每套云存储单独设计；3、设计每套的云存储管理服务器；4、设每套的云存储存储设备；5、列出软硬件清单。在云存储系统的设计方案中，尽可能设计为一套云存储系统。但是由于项目中建设方可提供的机房环境无法保证在一个机房内部署所有的云存储设备，或是网络带宽无法保证前端的数据能集中传输到该机房时，可以根据实际情况设计多个云存储系统。原则是每个机房一套独立的云存储系统。在多云方案中，多套的云存储通过平台进行整合，依然可以提供非常高效、稳定的存储服务。1.1.1云存储管理服务器设计1.1.1.1管理节点双机部署当项目中前端通道和车道数量总和小于1024路时，云存储管理节点采用2台服务器做HA双机部署模式。管理节点双机部署是一种可靠性的部署方式，此种方式是采用两台服务器并安装相应的视频云存储管理软件和双机热备软件，形成视频云存储管理节点。此种部署方式的两台服务器通过运行双机热备模式，可实现应用服务的故障切换，提高了视频云存储管理节点的可靠性和稳定性，工作性能也得到了保证。双机部署物理拓扑如下图所示：.. 图1.管理节点双机部署方式管理节点双机部署内容设备名称数量安装软件备注服务器2视频云存储管理软件（CVM）存储设备M视频云存储软件（CVS）视频云接入软件（CVA）M≤641.1.1.1管理节点集群部署当项目中的前端通道和车道数量总和超过1024路时可采用管理服务器集群模式。集群部署可以保持线性增长，三台管理服务器集群可以支撑4000路以内的摄像机通道规模。如果摄像机通道规模更大可以通过增加管理服务器台数来提高集群的性能，如5台管理服务器可支撑6000路、7台管理服务器可支撑8000路。管理服务器的数量必须为奇数。管理节点集群部署是一种高可靠性、高稳定性的部署方式，此种方式是采用三台或三台以上奇数台服务器组成，安装视频云存储管理软件并运行集群工作模式，形成视频云存储管理集群。此种集群工作模式，可实现单台或多台服务器应用的故障切换和负载均衡，提高了视频云存储管理节点的可靠性和稳定性，系统性能.. 也得到了很大的提高，是大型视频监控项目首选的部署方式。集群部署物理拓扑如下图所示：图1.管理节点集群部署方式管理节点集群部署内容设备名称数量安装软件备注服务器N视频云存储管理软件（CVM）服务器数量为N≥3的奇数存储设备M视频云存储软件（CVS）视频云接入软件（CVA）1.1.1云存储存储设备设计1.1.1.1存储容量计算混合云存储包括视频容量计算和图片容量计算两部分，具体容量计算及存储设备数量可参见《视频云存储容量计算工具》。1.1.1.1.1视频监控录像存储容量视频录像数据包括：监控摄像机全天候定时录像、事件触发录像、手动录像。视频监控系统一般采用H.264编码算法：1）设计码流为1080P@30.. 帧（1920×1080）6～8Mbps，这样的算法和带宽可以确保图像清晰度、色彩还原及编解码延时等几个关键指标的综合最佳效果。1路1080P摄像机按照这样的码流计算30天的存储空间：8Mbps×3600秒×24小时×30天/1024/1024/8=2.48TB，根据具体情况（共规划建设视频监控系统XX套），存储容量总需求为：XXTB，系统建设存储设备总容量约为XXTB。2）设计码流为720P@25帧（1280×720）3～4Mbps，这样的算法和带宽可以确保图像清晰度、色彩还原及编解码延时等几个关键指标的综合最佳效果。1路720P摄像机按照这样的码流计算30天的存储空间：4Mbps×3600秒×24小时×30天/1024/1024/8=1.24TB，根据具体情况（共规划建设视频监控系统XX套），存储容量总需求为：XXTB，系统建设存储设备总容量约为XXTB。建议在项目设计规划好适当冗余空间，一般为总容量的110%-125%。1.1.1.1.1车辆图片数据存储容量车辆图片信息采用JPEG编码格式，符合ISO/IEC1544∶2000要求，压缩因子不高于70，200万高清摄像机输出照片文件平均大小为300Kb，例如按单车道日均2000辆流量估算，一个车道的图片信息按6个月的时间的容量计算公式如下：2000辆×0.3MB×1车道×30天/月×6个月/1024/1024＝0.1TB总存储容量=0.1×卡口数量×车道数车辆图片数据根据具体情况（按照XX个车辆卡口，双向四车道计算），存储容量需求为：0.1×XX×4=XXTB。因此系统建设存储设备容量为XXTB。建议在项目设计规划好适当冗余空间，一般为总容量的110%-125%。.. 1.1.1.1存储设备配置以24盘位网络存储设备为例，为了保证数据的可靠性，存储设备一般采用如下冗余措施：每台设备配置1片热备盘，剩余23片盘做两组RAID5（建议：16盘位做两组RAID5，48盘位做4组RAID5）。1）采用3TB企业级硬盘，标准3TB硬盘的由于十进制与二进制计数的不同，其实际容量为3000GB/1.024/1.024/1.024=2794GB；2）考虑到RAID5冗余措施，每台设备可用的有效存储硬盘位21片，同时考虑5%的格式化空间损失，则每台存储设备的净存储空间为：单台存储设备净存储空间=两组RAID容量之和2794GB×11×0.95/1024+2794GB×10×0.95/1024≈54.43TB3），根据总容量计算出所需要的设备数量和硬盘数量：（考虑到存储数据一致性原则，建议视频和图片存储设备分别计算后得出系统总的存储设备数量）视频存储设备台数M1=视频总存储容量/每台设备的净存储空间图片存储设备台数M2=图片总存储容量/每台设备的净存储空间系统需要的存储设备台数M=M1+M2硬盘个数A=存储设备台数M×241.2系统软硬件总参考清单通过以上计算后得出了云存储系统的管理服务器和存储设备的硬件数量。每套云存储系统中仅需要一套云存储软件iVMS-5120。设备清单如下表：视频云存储系统配置清单1、视频云存储系统硬件设备清单硬件项目数量单位参数说明备注.. 视频云存储管理服务器N台　双机模式：2台；集群模式：>=3,奇数；视频云存储主机M台　　2、视频云存储系统软件清单软件项目数量单位参数说明备注视频云存储管理软件1套　iVMS-51201.1系统设备的验收系统技术验收将对设备数量、设备性能参数、系统的集群管理、视频功能、图片功能、运维管理、接口功能、系统可靠性等几个方面进行验收，并对系统进行模拟硬盘故障、电源故障、网络故障、存储设备故障等破坏性实验，以检验实验过程中视频数据是否丢失。系统验收需根据项目实际的业务场景、功能选型进行选取。下列表格中的内容在实际场景未使用时，可不作为验收项使用。1.1.1系统功能的验收功能项功能说明备注一、集群管理索引集群管理视频录像索引采用集群方式，无单点故障，保证索引数据的安全性。集群采用快速索引管理，能根据用户的各种查询条件(监控点编号、录像类型、时间段等)进行快速定位。负载均衡管理集群采用虚拟IP技术，对外提供统一的入口IP形式，将集群的访问在集群中根据各种算法进行分摊，降低单个节点的访问压力。后端存储节点压力进行实时监控，当单台存储节点压力过大时能根据智能算法将业务平滑迁移至其他存储节点，达到整个集群间负载均衡目的。.. 虚拟化管理支持将整个存储端统一管理，虚拟化为资源池，且将虚拟资源按池划分进行管理。支持虚拟池容量的弹性伸缩，支持虚拟池的动态调大或缩小支持在线扩容，存储设备扩容后容量动态增加至虚拟池。存储兼容对于第三方标准iSCSI设备可以整合云存储技术。项目中有接入第三方存储测试。无则免测。分散存储管理将前端数据通过特定算法，平滑分散至各个存储几点，从而降低大量回放对单台存储节点的压力。二、视频功能视频录像系统可以按照用户制定的计划保存前端设备采集的录像数据。支持手动录像。项目中有手动录像功能测试，无则免测。视频检索用户可以按监控点编号、录像类型、时间组合等条件查询录像数据。回放检索时间达到秒级。视频回放支持根据监控点编号以及时间段、录像类型对录像数据进行回放。支持快放、慢放；支持手动停止回放。视频下载支持根据编码器名称以及时间段对录像数据进行下载。视频补录支持在网络故障时将前端设备内的缓存数据主动补录到存储设备内。海康前端（配置SD卡）和平台支持该功能时测试，无则免测。循环覆盖按策略支持按周期、容量进行录像数据的周期覆盖式存储。备份支持自动备份和手动备份。项目中使用了备份功能则测试。无则免测。区域入侵智能检索/回放功能，支持智能摄像机的区域入侵检测功能。使用海康.. 智能检索/回放SmartIPC，并部署该功能时测试，无则免测。越界检索/回放功能，支持智能摄像机的越界检测功能。使用海康SmartIPC，并部署该功能时测试，无则免测三、图片功能：根据项目实际情况选择测试图片写入支持图片数据写入存储，返回URL地址图片下载支持按时间段下载图片；支持http的URL方式下载图片。图片压缩支持图片大小压缩和尺寸缩放。循环覆盖按策略支持按周期、容量进行图片数据的周期覆盖式存储。http访问支持用户使用浏览器直接查看图片。四、运维管理系统信息获取支持系统信息：版本、CPU、内存、网卡、磁盘等信息的获取。系统故障告警支持系统故障(CPU、内存等超过阈值)主动告警到运维平台。存储设备告警支持设备故障、掉线主动告警到运维平台。五、接口功能　运维对接支持标准的SNMP协议对接。项目中部署与第三方运维对接时测试，无则免测接口对接支持SDK方式与上层系统进行对接。项目中部署与第三方运维对接时测试，无则免测六、系统功能.. 远程配置通过web管理界面，用户可完成节点的初始化配置。可用性历史视频图像的点击回放的延迟时间秒级播放清晰、流畅。安全性存储子系统管理采用权限、密码验证机制。1.1.1系统可靠性验收验收功能操作步骤预期结果设备容灾拔掉任意一台存储设备网线或将其关机其它存储设备可以自动接管故障设备的IPC录像业务,并能查询、回放故障业务切换完成后的所有摄像机视频录像。拔掉集群中任意一台的管理服务器的网线或将其关机；集群接管视频相关业务，存储系统正常工作。RAID容灾拔掉任意一台存储设备上任意一块数据磁盘。对应存储设备产生报警，该磁盘所在RAID进入重构模式。重构完成后，可以查询、回放相应的视频数据。电源容灾拔掉任意一台存储设备两条电源线中的其中一条。拔掉任意一台存储设备两条电源线中的其中一条，这台存储设备录像、查询、回放业务正常。拔掉管理服务器两条电源线中的其中一条拔掉管理服务器两条电源线中的其中一条，不影响这台服务器运行。智能补录断开任意IP摄像机的网线，5分钟后再连接网线一段时间后，可以在云存储系统中检索到IP摄像机断网时间段内的视频数据下载回传云存储。海康前端（配置SD卡）和平台支持该功能时测试，无则免测。虚拟空间管理对划分虚拟录像池进行扩大和缩小可以任意调整录像池存储空间大小，且不影响系统正常运行。设备在线扩展在线添加一套存储设备.. 云存储系统自动发现存储设备，整个存储空间自动增加且录像业务不中断。负载均衡查询每台存储设备上前端负载情况。云存储系统管理页面上显示每台存储设备上前端数量基本均衡。说明：如甲方提出需要进行其它方面或方式的检测要求，另行商议。。.. 第一章存储技术对比分析1.1.1存储技术现状视频监控数据的存储系统经过了多个阶段的发展，目前在项目中应用到的主要存储技术有：DVR本地存储、SAN/NAS集中存储、一体机存储、CVR直连存储、通用文件云存储和海康威视视频云存储等。1.1.1.1DVR存储模式DVR存储是采用本地磁盘存储视频监控数据的一种方式，它用设备内置的IDE硬盘存放视频数据。DVR一般有四个IDE接口，可以接8块硬盘。该模式有以下特点：Ø价格低廉，简单易用，适合于小规模监控环境；Ø硬盘非冗余模式工作，数据容易丢失；Ø分布式存储，DVR存储空间不能直接实现共享；Ø单设备容量有限，随着监控规模的扩大，管理、维护比较困难；Ø硬盘顺序工作，减少硬盘损耗，但检索与回放性能较差。1.1.1.2集中存储模式1.1.1.2.1存储局域网络SAN存储局域网络SAN是目前常用的存储架构，是建立在服务器和存储设备之间的网络。通过存储专用网络为服务器提供集中式的、共享的存储空间，便于管理。SAN的特点可归纳为下几点：ØSAN存储系统扩展性好、升级能力强，投资保护性好；Ø实现了存储系统支持数据集中式管理，相关业务系统或全部的应用系统与存储系统通过SAN网络连接在一起。；.. Ø采用开放式的体系结构，支持多种系统平台接入，亦即实现跨平台操作；Ø提供包括存储介质、接口设备及连接链路的冗余支持；Ø向网络客户端和应用服务器提供高效可靠的数据存储服务时，同时对应用系统的运行效率和网络的速度不会产生明显的影响。1.1.1.1.1网络附加存储NAS网络附加存储NAS是将存储设备通过标准的网络拓扑结构(例如以太网)，连接到一群计算机上。NAS是部件级的存储方法，集成了文件管理系统，以共享服务器形式连入局域网。NAS的特点可以归纳为以下几点：Ø以文件为单位进行数据读写，允许跨系统客户端访问，实现数据共享；Ø采用以太网接口，有100M、1000M、10G等几种速率等级；ØIP网络方式，理论上传输距离无距离限制；Ø多用于局域网环境，较易于分配管理，具有一定的利用率。1.1.1.1.2一体机存储一体机存储方案，是在NVR或者CVR内集成视频监控管平台。从技术路线、存储服务方式上分析，一体机方案实际上是一套带简单管理的NVR或CVR堆叠方案。一体机的特点可以归纳如下：Ø采用嵌入式系统，在存储设备内部安装了视频监控平台软件；Ø高度集成化，集成了元数据服务器、流媒体服务器和存储设备；Ø通过堆叠或平台级联的方式，达到系统扩容的目的；1.1.1.1.3CVR直连存储CVR直接存储是把录像软件和播放软件嵌入到存储设备中，视频图像由DVR或IPC通过流媒体协议直接写入存储，降低了客户使用成本，也提高了性能和可靠性。CVR直连存储的物理拓扑结构如下图：.. 图1.CVR直连存储图这种通过流媒体协议写入存储的架构模式，可以使存储有更多的灵活性，可以做更多的工作，比如视频切割，文件压缩，文件加密等，同时使得视频点播变得更加简单快捷。CVR直连存储的特点可以归纳如下：Ø支持视频流经编码器直接写入存储设备，省去存储服务器成本，避免服务器形成单点故障和性能瓶颈，提高录像质量；Ø支持手动录像、自动定时录像、视频移动录像、报警联动录像、视频丢失报警录像、循环录像和报警预录像；Ø客户端、平台直接接入，可实现对监控数据的直接下载、检索、浏览和回放等。可获得极高的录像导出速度，提供更流畅的录像回放质量，且不占用DVS/DVR资源；Ø支持通过网络远程调用历史图像信息，回放时支持暂停、播放、停止、慢放、快放、拖动以及循环播放等操作，支持回放时图像抓拍功能；Ø支持MJPEG/MPEG2/MPEG4/H.264/AVS等多种图像格式视频流的实时存储及点播；Ø高可靠性，存储设备间各自独立，任何单磁盘阵列的故障不会影响其他盘阵的正常使用；Ø部署简单，易扩展，支持分布式存储与集中式管理的机制；.. Ø提供配置、检索与回放的二次开发接口及控件，充分利用灵活对接的特点，兼容主流编码器及平台产品。1.1.1.1通用文件云存储通用文件云存储是通过分布式文件系统，将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的一个系统。与传统的存储设备相比，云存储不仅仅是一个硬件，而是一组由网络设备、存储设备、服务器、应用软件、公用访问接口、接入网和客户端程序等多个部分组成的复杂系统。各部分以存储设备为核心，通过应用软件来对外提供数据存储和业务访问服务。相对于传统的存储与独立服务器的方式云存储具备以下特点：Ø可扩展性--云存储空间允许在线动态的调整，并按需使用。Ø灾难恢复--云存储具备分布式的特性。Ø负载平衡--云存储通过动态分配可减轻链接数据负载。Ø节省成本--云存储无需众多的专业IT维护人员，实现快速部署、便捷运维。1.1.1.2海康威视视频云存储海康威视视频云存储系统是由海康威视自主研发的一套针对安防监控行业应用的专业级云存储系统，采用软硬件一体化设计，融合了集群应用、负载均衡、虚拟化、云结构化、离散存储等技术，可将网络中大量各种不同类型的存储设备，通过专业应用软件集合起来协同工作，共同对外提供高性能、高可靠、不间断的视频、图片数据存储和业务访问服务。海康威视视频云存储系统与通用的文件云存储系统在底层的云架构设计上有很多类似之处，但是海康威视视频云存储系统结合了视频和图片的数据特点进行深度的架构调整和应用融合。在视频云存储系统的设计中，采用的核心技术如下：.. Ø采用存储全域虚拟化技术对具有海量存储需求的用户提供透明存储构架，可持续扩容避免瓶颈限制，可以更有效的进行资源管理，灵活增减空间，达到最大程度上合理利用空间的效果；Ø采用集群技术，解决单/多节点失效造成的业务中断问题，并利用负载均衡技术充分利用各存储节点的性能，提升系统的可靠性和安全性；Ø采用离散存储技术，保障了用户高效读写和业务的持续性；Ø采用统一完善的接口，降低对接成本、平台维护成本和用户管理的复杂度；Ø采用开放的集成构架，可兼容业界各类标准的iSCSI/FC存储设备，保护用户现有存储投资资源；Ø采用数据备份和容灾技术，保证云存储服务的安全稳定。视频云存储的物理拓扑结构如下图：.. 图1.视频云存储拓扑图视频云存储模式的特点可以归纳如下：Ø高效灵活的空间管理：支持数据块系统级离散分配策略，业务高并发处理功能；支持数据块垂直化管理，虚拟空间灵活分配功能；Ø海量数据的快速检索：一体化应用扩展索引设计，支持百PB容量万路前端视频、图片快速检索功能；支持视频I帧快速检索；Ø持续可靠的数据服务：7X24小时高清、大码流持续存储、高速提取；支持N+M全集群系统级高可靠、高安全数据服务；Ø高可扩展的应用支撑：全面定制化面向应用开发，支持视频、图片多重应用功能扩展，如：录像标签、I帧回放、图片缩放等；.. Ø开发透明的兼容系统：云架构透明设计，提供标准API接口与应用平台对接；支持标准第三方前端接入；支持标准IPSAN、FCSAN存储设备接入。1.1.1存储技术对比分析根据上文所列的存储技术，结合实际项目的应用选择，可以分为三大类：集中存储、通用文件云存储和视频云存储。1.1.1.1海康威视视频云存储与集中存储根据视频云存储与集中存储各自的技术特点，在实际项目中视频云存储与集中存储可以从如下四个方面进行分析。1）从运行管理和维护方面来讲，集中存储方案中存储系统的服务接口是挂载磁盘阵列的应用服务器，每个应用服务器以本机IP地址与外接通信，多套应用服务器多个IP地址。视频云存储采用统一的云存储服务接口，对外只有一个IP地址，用户只需登录一个IP地址就能达到对视频云存储系统管理维护的目的。在一般安防视频监控项目中，几百路甚至达到几千路高清前端的并发写入对视频服务器和存储的性能要求会很高，同时数据总量高达十几个PB。采用集中存储模式，存储设备众多，系统配置和管理会十分繁杂，用户对所有前端设备和后端存储都需要了解清楚，并对众多设备一一配置后才能应用。海量数据的管理、设备维护等对用户来说都是一个十分棘手难题。2）从利用率方面分析，集中存储的每套设备的容量各自进行管理和分配，规模化部署时很难最大限度地发挥出硬件设备的性能，即可能会出现某些设备压力很大，而另一些设备的使用却很低的情况。并且存储着部分数据的设备，其剩余的存储容量无法充分的利用。因此从总体上来说会降低系统的存储容量利用率。视频云存储系统，对系统内的全部存储设备，进行多套的虚拟化整合。对用户而言，经过虚拟化整合后的存储资源就是一个超大容量的“磁盘”，至于“磁盘”是如何构成的则完全不需要关心。而且“磁盘”还能根据用户需求分配出大小不一、类型各异的存储资源池，充分满足用户的特定需求；.. 扩容也很便利，扩大、缩小都可以实现。同时通过负载均衡的动态调整能够调动所有设备的最大系统资源和处理能力，提高设备利用率。3）从可靠性方面来讲，使用集中存储方案在录像时，数据流需要经过流媒体服务器、应用服务器转发才能写入磁盘阵列，增加故障风险。单点故障多，一旦流媒体或者应用服务器故障将导致无法录像，同理磁盘故障录像功能也会失效。一体机等方案则缺乏多设备之间的彼此协调备份，单设备故障时不能有效地将录像业务调整到其他设备上。视频云存储系统，采用全集群化设计，管理服务器和存储设备都能做到集群容灾。一台设备坏了，集群中的其他设备能够自动调整业务，承接故障设备的工作，保证录像业务不中断。多台设备故障同样能够进行动态调整，以保证业务不中断。而且视频云存储支持前端视频流直写，数据流直接写入存储设备内，不经过管理服务器，一定程度上减少了系统故障节点。4）从对云计算的支撑力度来看，传统集中存储支撑力度低，而视频云存储系统的具有高可靠、高可维护的特性，支撑方便的智能分析的视频调取和应用。视频云存储系统的数据块大小与云计算中调取数据的数据块分割方式相符，云计算系统通过调用视频云存储系统中的视频数据块，直接进行计算分析,视频云存储系统为有云计算需求的用户提供了良好的数据基础。以1000路前端的数据存储为例，更详细的对比分析可参看下表：表1视频监控云存储与传统集中存储对比表项目传统集中存储视频监控云存储系统性能单设备，有性能瓶颈多设备集群，无上限设备管理一对一管理，管理复杂统一管理，管理便捷容量管理逐台设备分配，低利用率虚拟化整合，按需分配压力调整手动调整，维护不便自动调整，负载均衡数据下载单设备响应，低速下载多设备并发响应，高速下载存储模式数据转发，需部署服务器数据直存，节省服务器系统扩展性扩展复杂，有容量上限扩展便利，无容量上限.. 系统可靠性单点故障，业务中断单/多点故障，业务不中断面向应用无安防行业应用扩展集成安防定制化应用功能1.1.1.1海康威视视频云存储与文件云存储海康威视视频云存储系统与通用的文件云存储系统在底层的云架构设计上有很多类似之处，但是海康威视视频云存储系统结合了视频和图片的数据特点进行深度的架构调整和应用融合。典型的技术差异包括：1、数据存储结构设计差异：文件云存储通过管理文件系统，达到数据存储的目的，对文件类数据的支撑度较高；视频云存储无文件系统设计，采用流式数据结构，对非结构化的视频数据和图片数据支撑度较高。2、存储流程上的差异：传统文件云存储的数据存储过程是：数据-->文件系统-->卷-->I/O系统-->RAID-->磁盘数据块整个过程中每份数据存储、读取都需要在单台存储设备上经过以上的流程，此中的瓶颈也较多。安防行业中在设备层面还会更多的增加流媒体服务器这个环节。海康威视视频云存储通过流式数据结构的设计则对数据存储过程进行了优化，通过优化存储过程减少瓶颈、提高存储效率，优化后的数据存储过程是：视频数据-->I/O系统-->RAID-->磁盘数据块整个存储流程简化，速率更快。而对数据块的地址控制则由视频云存储管理服务器唯一进行控制。在实际项目应用中还可以从如下几个方面对比这两种存储技术：1）从视频存储效率上讲，文件云存储系统，对于视频图片等非结构化数据仍按结构化数据方式存储，存储速率和存储流程繁琐，因此在存储效率和性能上不如专业的视频云存储系统。.. 视频云存储系统是为安防视频监控行业定制化设计开发的，针对视频图片类的结构化数据，采用独特的流式数据结构设计，在存储效率和性能上远远超过了文件云存储。2）从硬件成本上讲，文件云存储在视频业务运行环境中仍然需要增加多台流媒体服务，而海康威视视频云存储系统支持视频流直存，不需要流媒体服务器，大大减少了用户投资。3）从虚拟化能力上讲，文件云的虚拟化基础依然难以摆脱逻辑卷的束缚，以某些厂商为例，其容量管理上的“虚拟卷”最大容量1PB，而海康威视视频云存储因不存在文件系统，不存在逻辑卷，因此在虚拟化空间上没有任何限制。4）从安防行业的应用来看，文件云存储无行业特色，对图片视频应用、云计算服务无特定支撑，对后期应用扩展无支撑。海康威视视频云存储将视频、图片的一些基础功能与存储机制进行结合，在云存储内部就进行了打包封装，如视频录像、回放、下载、标签等等，外部系统通过API进行调用后直接使用。以1000路前端的数据存储为例，更详细的对比分析可参见下表：表1视频监控云存储与文件云存储对比表项目文件云存储视频监控云存储视频存储模式服务器转发，增加成本数据直写，节省服务器投资系统读写性能结构化文件系统存储，效率低流式数据结构，存储效率高系统稳定性故障节点多，数据丢失风险大N+M集群设计，有效屏蔽单/多点故障容量管理有限的容量虚拟化虚拟化空间无上限应用支撑无安防行业应用支撑针对安防行业定制化应用开发.. 第一章附件1.1《视频云存储容量计算工具》见FTP链接：ftp://hikftp.hikvision.com:400产品资料1.股份公司8.视频云存储1.2主要硬件产品介绍1.2.1存储管理服务器存储管理服务器是基于Intel最新的Romley平台开发的一款高性能双路服务器，该服务器采用了全新的架构设计：在CPU内集成了PCI-E，为CPU互联提供更多的QPI总线，更多的CPU内核数量等都直接带来了性能的大幅提升，相比上一代性能提升最高可达80%。存储服务器最大可以支持内存容量512GB，集成高性能SAS控制器，支持最多达8块热插拔3.5寸SAS/SATA硬盘或2.5寸SAS/SATA硬盘，内部横插卡的设计可以满足全高扩展卡的需求，如此强大的扩展性足以支撑关键任务的运行，满足资源密集型应用的需要。更多的PCI-E插槽、更高速率的PCI-E总线让用户轻松实现扩展。存储管理服务器非常适用于对服务器性能、扩展性及可靠性要求苛刻的数据中心环境。产品特点：Ø全新处理器架构带来性能飚升；Ø真正企业级的可靠和可用性；ØIO超强扩展；Ø横插卡设计支持全高扩展卡；.. Ø模块化设计，免工具拆卸。1.1.1存储主机1)存储主机（一）存储主机是海康威视针对高性能、高可靠性需求而推出的千兆网络存储系统。提供4-8Gbps的传输带宽和单模块高达144TB的海量存储空间，且支持扩展。采用强大的64位四核处理器、稳定的体系架构、RAID6技术、热插拔硬盘、多千兆网口及冗余热备电源、智能控制风扇，既满足了高性能的要求又彻底保护了用户的数据安全。产品特点：Ø1-2个64位四核处理器，4GB-48GB高速缓存；Ø4-8个千兆以太网口，支持网口绑定；Ø支持RAID0、1、3、5、6、10、50、Hot-Spare，单盘模式；系统管理功能：中文Web可视化管理，多设备集中管理和全面状态监测报警，批量升级；绿色节能，磁盘及RAID预警容错，带宽预留等；访问控制、身份识别、MAC地址绑定等安全机制。2)存储主机（二）存储主机是海康威视推出的高性能价格比、企业级千兆网络存储系统，采用.. 64位软硬件平台，针对视频监控行业进行了应用特点优化，可为大中型视频监控系统提供可靠稳定的海量存储空间，适合追求高性能、高扩展能力并注重节约成本的用户。产品特点：Ø64位多核处理器，2G-16G高速缓存；Ø支持RAID0、1、3、5、10、Hot-Spare，单盘模式；Ø2-6个千兆以太网口，支持网口绑定；Ø系统管理功能：中文Web可视化管理，多设备集中管理和全面状态监测报警，批量升级；绿色节能，磁盘及RAID预警容错，带宽预留等；访问控制、身份识别、MAC地址绑定等安全机制。..