视频数据存储检索-v3.0

《视频数据存储检索-v3.0》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、海量视频数据存储、检索、提取目录1.海量视频存储背景：32.海量视频存储DFS：32.1DFS工作机理32.2DFS技术特点43.开源Hadoop分布式存储系统63.1Hadoop简介63.2HDFS的实现73.3Mapreduce的实现84.分布式系统Hadoop平台的密文存储检索方案94.1方案简介94.2系统架构104.3实现细节111.海量视频存储背景：安防技术的进步之快是有目共睹的，图像高清化，传输网络化、存储云化，应用智能平台化等，行业专用视频监控网络和快速发展的家庭安全防范服务领域将很快成为下一个市场重点，随着市场重心的转移，为适应新的市场特点和需求，技术和方案也在悄然的

2、发生变化。随着安防视频监控系统技术的进步和规模的增长对存储的要求也在发生深刻的变化，对存储系统的容量、扩展性、性价比、性能、管理性、稳定性等都提出了新的要求，传统的存储方式已经不能满足要求。为满足安防视频监控的新要求，解决城市级海量视频数据存储、检索难题，以视频、图片文件存储和管理为核心的面向大规模数据密集型应用的、可伸缩的分布式文件系统DFS(DistributedFileSystem)被提出。2.海量视频存储DFS：2.1DFS工作机理DFS它通过分布式集群架构将网络中普通PC、通用服务器及各种存储设备集合起来协同工作，并通过专用数据接口，向用户提供海量数据存储、管理和访问服务。部

3、署方式上支持全网分散部署，或在数据中心集中部署。存储介质支持普通硬盘及通用存储设备。在普通PC或通用服务器集群上部署的DFS可以达到NAS/SAN的冗余及可靠性，同时又能提供NAS/SAN无法达到的高吞吐量及强大的水平扩展能力。DFS通过元数据和存储数据分离，控制流和数据流分离，通过负载均衡和数据并发访问策略，在普通硬件条件下获得高效的传输速率以及PB级的存储容量，DFS针对音视频文件进行特别优化，支持分布式集群架构下的音视频文件帧级别的查询及定位。为安防视频监控实现智能分析、智能检索奠定基础。2.2DFS技术特点2.2.1多服务器同时对外服务DFS性能优异，支持高并发、带宽饱和利用。

4、云存储系统将控制流和数据流分离，数据访问时多个存储服务器同时对外提供服务，实现高并发访问。自动均衡负载，将不同客户端的访问负载均衡到不同的存储服务器上。系统性能随节点规模的增加呈线性增长。系统的规模越大，云存储系统的优势越明显,没有性能瓶颈。有利于超大规模城市级监控网络的形成。2.2.2多数据块副本实现冗余高度可靠，采用多个数据块副本的方式实现冗余可靠，数据在不同的存储节点上具有多个块副本，任意节点发生故障，系统将自动复制数据块副本到新的存储节点上，数据不丢失，实现数据完整可靠;并支持通过编解码算法的方式实现高度可靠，任意同时损坏多个存储节点，数据可通过算法解码自动恢复。该特性可适用于

5、对数据安全级别极高的场合，同时相对于副本冗余的可靠性实现方式大大提高了磁盘空间利用率，不到40%的磁盘冗余即可实现任意同时损坏三个存储节点而不丢失数据。元数据管理节点采用多机同步热备份的高可用方式容错，其中任一台服务器故障，可无缝自动切换到另一台服务器，服务不间断。整个系统无单点故障，硬件故障自动屏蔽。2.2.3动态增减存储节点动态加入新的存储节点，只需简单操作，即可实现系统容量从TB级向PB级平滑扩展;也可以摘下任意节点，系统自动缩小规模而不丢失数据，并自动将摘下的节点上的数据备份到其他节点上，保证整个系统数据的冗余数不变。并同步提升读写及网络性能。2.2.4降低建设和运营成本降低建

6、设和运营成本，作为整个平台的基础层，文件系统和数据仓库以廉价的高存储PC或者单板机代替以往的小型机，联合提供极高的运算能力和极低的存储成本!采用分布式计算和存储，结合优化的硬件，通过集群化运维管理系统，实现计算，存储，网络等资源的动态分配及部署，大大提高资源使用率。3.开源Hadoop分布式存储系统3.1Hadoop简介由Apache基金会支持开发的Hadoop是一个开源的分布式基础结构，充分利用集群的威力高速运算和存储。Hadoop实现了一个分布式文件系统（HadoopDistributedFileSystem），简称HDFS。HDFS有着高容错性的特点，并且设计用来部署在低廉的（l

7、ow-cost）硬件上。而且它提供高传输率（highthroughput）来访问数据，适合那些有着超大数据集（largedataset）的项目。Hadoop是一个能够让用户轻松架构和使用的分布式计算平台。用户可以轻松地在Hadoop上开发和运行处理海量数据的应用程序。它主要有以下几个优点：⒈高可靠性。Hadoop按位存储和处理数据的能力值得人们信赖。⒉高扩展性。Hadoop是在可用的计算机集簇间分配数据并完成计算任务的，这些集簇可以方便地扩展到