基于hadoop大数据技术的视频监控系统的设计

《基于hadoop大数据技术的视频监控系统的设计》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、基于Hadoop大数据技术的视频监控系统的设计　　摘要：大数据时代，“信息爆炸”给传统的视频监控提出了巨大的挑战，随着科技的发展，采用以Hadoop大数据技术的视频监控系统可以克服传统视频监控所带来的问题，数据分析和数据挖掘的利用在不同领域改变着我们的生活。　　关键词：Hadoop；大数据；视频监控　　1大数据的背景　　Google研发的计算机AlphaGo战胜了韩国棋手李世石，这件事不仅是人类在机器智能领域取得的一个里程碑式的胜利，而且标志着一个新的时代――智能时代的开始。　　计算机之所以能战胜人类，它不是靠逻辑推理，而是靠大数据和智能算法。在数据方面，Google使用了几十万盘围棋高

2、手之间对弈的数据来训练AlphaGo，这是它获得所谓的“智能”的原因。这些算法已经在其他智能应用的领域获得了成功。今天，计算机已经开始完成很多过去必须用人的智力才能够完成的任务，比如：医疗诊断，阅读和处理文件，智能电网，互联网，智能交通、提前预测犯罪行为、怀孕预测等等。　　2大数据关键技术　　网络视频监控实现最大的价值主要是利用大数据技术，其大数据的来源是视频监控数据，采用数据分析和数据挖掘的技术，可以更大程度的实现其潜在价值。大数据的基本处理流程与传统数据处理流程有一定的差异，主要区别在于：因为大量的非结构化数据的存在，大数据就要在每个部分利用并行处理、分布式存储（HDFS）等技术来处

3、理。大数据所采用的关键技术包括：数据采集技术（ETL）、分布式文件系统（HDFS）、分布式数据库（HBase）、并行计算处理（MapReduce）、大数据的内容分析等。如图1所示。　　3Hadoop大数据技术　　Hadoop作为开源分布式存储和计算平台，应用非常广泛，百度、亚马逊、Facebook、淘宝等都在用这项技术，HDFS分布式文件系统和MapReduce分布式计算技术都是通过Google产生的，Hadoop是它们的开源平台，不论是分布式存储，还是分布式计算架构都要是高要求、高标准，高可靠性、高性能的。　　Hadoop的分布式文件系统HDFS主要负责各个节点的数据存储，实现高效的数

4、据读写过程。首先，一个应用程序被Hadoop的MapReduce编程模型和框架所分解，变成众多微小的工作单元，然后将这些微小的单元分配到集群节点执行，在MapReduce架构下，一个准?涮峤坏挠τ贸绦虺莆?作业（Job），从一个作业划分出的、运行于各个计算节点的工作单元称为任务（Task）。　　Google的MapReduce模型是由Hadoop来完成的，Google的MapReduce最开始用在的地方是在搜索引擎里的并行计算，它的两个主要部分是：Map（映射）和Reduce（化简），MapReduce就是由这两个词组合而成的，因此就变成了一个分布式计算框架。在实际过程中，并行计算非常繁

5、杂，而且有些还是运行在庞大的集群上，所以MapReduce就可以将他们抽象出来到这两个函数中，Map和Reduce进行下一步的处理。MapReduce工作思路是将未处理的数据集（或任务）分解为多个小的数据集（或小任务）然后发送到集群节点中执行，每台计算机节点再处理自己的那部分信息，MapReduce则迅速整合这些反馈并形成答案，简单说就是任务的分解和结果的合成。如图2所示。　　输入数据->Map分解任务->执行并返回结果->Reduce汇总结果->输出结果　　4大数据与视频监控　　目前全国各个城市都建设了大量的视频监控系统，如何在海量的摄像头及录像数据中预防、发现、调查恶性事件变得非常重

6、要。行业预期通过对视频数据进行分析，挖掘视频数据中可疑人员的人脸、行为轨迹、动作、打扮及车辆车牌、车身颜色、号码、轨迹、违章等信息，以实现对未发事件的提前预防、正发生事件的应急响应及已发事件的快速调查。　　海量和非结构化数据是视频监控数据的两个核心的特征。随着视频网络化、移动化、高清化、数字化的发展，视频监控数据是越来越巨大，而且是呈指数级别增加的趋势。以音视频及图片为主的非结构化数据增长的趋势尤为明显，传统的视频监控数据管理越来越难以满足这个时代大数据的要求。　　4.1高清视频监控尚存在的问题　　4.1.1海量数据如何存储和拓展的问题　　视频监控系统24小时工作的特征使其源源不断地产生

7、大量数据，高清视频监控系统视频数据流量更大，传统集中存储模式下，需要基于现状并考虑未来一段时间扩展需求进行部署，这样的部署不利于系统后期扩大存储的设计。视频监控系统的存储和拓展必须能够随着技术的进步而动态的，而且可以保持现有的系统不容易损失严重。存储若采用分布式存储架构，则可以进行灵活地扩展部署。　　4.1.2海量数据如何计算和分析的问题　　海量视频数据智能分析的有效性将是未来大型安防监控系统的重要指标。对于地铁、机场及平安城市等公