大数据平台让视频更智能

《大数据平台让视频更智能》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、大数据平台让视频更智能　　我国智慧城市战略已经实施了多年，全面提升了城市的管理和服务能力。而从数据上来看，市民感受城市最直接的变化就是摄像头密集度越来越高。而且，很多城市都已经开始实施“天眼工程”，为的就是实现对城市全方位无死角的监控。密集分布的摄像头网络组成了城市的公共安全视频监控系统，也提升了一个城市治安、交通、消防、市政、城管等各部门的整体管理和服务水平。　　海量视频数据带来的挑战　　随着视频监控数据量的快速增长，以及摄像头高清化、超高清化的趋势加强，视频监控数据规模将以更快的指数级别增长。以一个部署

2、了1万个摄像头的中等城市为例，假定每个摄像头每秒压缩视频数据量为1Mb（比特），则一天共产生108TB的视频录像，一个月共产生约3PB的视频录像。　　现在，新的问题出来了，摄像头7×24小时地录制视频，让每个城市都产生了大量的视频监控文件。但是，当公安部门或交通部门希望快速搜索某时间或某些特征的视频段时，这个看似简单的想法，操作起来却犹如大海捞针。5　　与通常的结构化数据不同，视频监控业务产生的数据绝大多数以非结构化的数据为主，必须经过复杂繁重的分析处理才能提取出文本结构化的数据进行下一步处理。这些都给传统

3、视频监控体系架构、数据的管理方式、数据分析，以及视频监控数据的传输、存储和计算带宽等带来了极大的挑战。　　挑战一：数据量的急剧扩大和IT投资之间的矛盾。按照IT产业的法则：在满足客户需求的前提之下，往往技术成本越低，其生命力越强。由于数据量的急速扩大，以及随之而来的大规模计算的需求越来越多，一味采用高配硬件，使得硬件投资成为客户不可承受之重，客户越来越希望在满足需求的前提下，用中低端的硬件来替换高配硬件。　　挑战二：海量数据和有效数据之间的矛盾。摄像头7×24小时地工作如实记录镜头覆盖范围内所发生的一切。但

4、是，大部分视频监控信息是无效的，有效信息可能只分布在一个较短的时间段内，按照数学统计的说法，信息是呈现幂律分布的，也称之为信息的密度，往往越高密度的信息对客户价值越大。　　挑战三：资源利用和效率之间的矛盾。随着视频监控数据量的增加，哪怕对TB级别的数据进行视频内容的数据分析和检索，采用传统方式都可能需要花费数小时的计算，这远远不能胜任时效性的需求。视频的分析和检索，不能依赖于传统的手段，视频智能分析必须寻找新的突破。　　因此，想要从如此海量的视频监控文件检索到所需的视频信息，必须借助特殊的技术帮忙。　　改造

5、传统数据处理架构　　大数据理念和开源生态系统Hadoop的诞生，激活了各行业的思路。IT领域开始采用基于Hadoop的大数据技术框架对视频文件进行存储和计算，使得城市各部门的工作人员可以实现对视频的快速检索和智能分析。5　　视频监控的大数据平台一般以分布式集群的方式进行建设。分布式集群能够对数据处理进行负载均衡，同时，也便于未来一段时间进行扩展。而扩展的过程也无需重新部署系统，只需增加集群节点即可提升大数据平台的整体性能。　　视频监控的大数据平台采用分布式计算，同时结合内存加速、负载均衡、本地处理，以提供高

6、效的数据分析和挖掘能力。视频监控大数据处理过程中的存储则采用了分布式存储方式，以提高读写速度和扩大存储容量。在数据存储方面，大数据平台需要考虑以下3个方面：一是哪些数据需要保存到大数据平台上;二是如何对原有系统进行改造，原有系统中已存在的数据该如何处理;三是如何保证数据的可靠性。　　实践证明，基于大数据框架改造的传统视频处理系统架构能焕发出新的活力。首先，架构更加灵活，伸缩弹性更大。一些城市的中大型项目，由于起点的差异，缺乏视频监控架构的顶层设计，为后期的扩容升级增大了难度。在建设初期，IT规划者如果能引入

7、基于大数据的架构，就会为未来的扩张打开通路。　　其次，可以以廉价通用的硬件产品应对视频监控数据的爆发性增长。在面向大数据的架构中，IT规划者后期可以根据视频监控业务的部署需要，设立多个HDFS（Hadoop分布式文件系统）集群，采集的流数据会被划分成段，并分布于各个数据节点上。更为重要的是，这些数据节点可以采用廉价通用型的硬件，由软件技术保证其高可靠性。这种方式避免采用传统高端硬件模式，大大降低了大数据平台的后续运维成本。5　　最后，可以通过高速并行计算实现智能分析和数据挖掘。对于城市管理者来说，面对海量的

8、视频监控数据，传统人工和串行的数据筛选方式已不能满足搜索和分析要求。基于大数据的架构就是将海量数据分解为较小的更易访问的批量数据，在多台服务器上并行分析处理，从而大大加快视频数据的处理进程。　　视频大数据的智能应用　　以2012年在南京发生的“1?6”抢劫案为例，在案件侦破过程中，南京警方从全市1万多个摄像头共提取了近2000TB的视频数据，为了处理这些视频，调动1500多名公安干警查阅搜索视频线索，共耗时一个多