行为识别国内外现状

《行为识别国内外现状》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、1．原始视频的特征提取(1)光流场光流场是空间运动物体在观测成像面上像素运动的瞬时速度。它利用图像序列中的像素强度数据的时域变化和相关性来研究图像的灰度在时间上的变化与场景巾物体结构及其运动的关系。光流法通常假设相邻帧的图像差异非常小，从而获取对真实运动场的近似估计【31。它不用预知任何先验知识，即能提供有关运动速度及图像中运动区域的简洁描述，适用于摄像机运动的情形。但光流法易受噪声及光照变化的影响，且计算较为复杂，很难用于实时的视频监控系统。(2)点轨迹目标的运动轨迹也可以作为特征，从而大致推断出目标运动所属的行为类别

2、。但图像平面上的轨迹对平移、旋转和缩放等变换比较敏感，因此在大多情形下，此特征显得不够可靠。常用的替代特征表达有轨迹速度、时空曲率等【4，51。运动轨迹的获取比较依赖于精确的跟踪算法。从原始视频中提取点轨迹特征同样容易受到噪声、遮挡及混乱背景等的影响。(3)人体形状表达在摄像机固定的情形下，假设背景已知，通过背景剪除法可以很容易得到运动人体形状。基于全局、边界及骨架等的描绘子都可以用来表达人体形状。全局方法16,71如剪影、矩等是在整体形状区域内计算描绘子，而边界方法仅考虑形状轮廓【8l，骨架i方法则是用一组lD骨架曲线

3、代表一个复杂的人体形状，比如中轴变换[91等。(4)滤波器响应空时滤波器响应是一个广义上的分类。Zhang等【lo】存时间轴上计算高斯导数，将滤波器响应较高的区域作为运动区域。LaptevI¨1利用一组空时高斯导数滤波器将Harris角点检测扩展应用于三维的视频数据从而检测出空时兴趣点。这类方法大都基于简单的卷积操作，运算快速而简便。当视频分辨率较低的情形下，提取光流或剪影特征较为困难，利用滤波器响应特性可以从视频数据中提取有效的底层特征。2．低层特征的描述与识别我们将低层特征的描述与识别方法分为三类①：非参数方法、空时

4、体方法和参数时序法，分别对现有方法进行归类，并作一个简短的综述。2．1非参数方法(1)模板匹配法这类方法需要对每种行为的特征建立相应的模板，将获取的特征数据与模板相匹配，通过计算两者之间的相似度进行识别。Polana和Nelson[4刀将整个序列分解为多个周期行为，利用二维网格特征识别各种行为。Bobick和Davis[391将图像序列转换为运动能量图像(膨酣)和运动历史图像(朋m)模板，MEI反映运动覆盖的范围及强度，而MHI反映运动在时间上的变化情况。Weinland等【拍】提出运动历史体积(MHV)模板，从多个视角

5、重建目标并将其投影到圆柱坐标系，提取Fourier变换特征以描述行为。Wang和Suter[451也将整个行为过程融合为基于轮廓的平均运动形状(MMS)和基于运动前景的平均运动能量(彳^扭)两个模板。模板匹配法计算复杂度低、实现简单，但它本身无法描述动态系统，也不能完全反映数据在空问上的分布属性，具有一定的局限性。而且不同行为之间执行速率的不同、噪声、光照等因素都会影响模板匹配的准确性。(2)目标建模法行为可以通过建立人体动态表观模型进行描述。常见的人体模型有棍图模型【109]、2D模型例及3D模型51。3D人体建模是最

6、常用的人体结构表征方法，通过跟踪人体模型中主要关节点的坐标、关节之间的角度、关节点运动的速度及角速度可以分析人体各种行为。3D模型包含深度信息，因此它能够有效解决自遮挡和自碰撞问题。行为本身也可以看成是一个3D空时目标，如Mahmood等【1刁在联合X．Y-T空间将整个行为表示为圆柱体模型。Yalmaz和Shahll31将跟踪获得的人体2D轮廓堆叠成联合X．Y-T空间中的目标，这种表达同时刻画了人体表观及动态运动特性。从X．Y玎空问的表达中提取的各种几何特征，如峰、凹点、谷及脊等，可以作为目标表面的捕述，但它需要建立序列

7、帧点与点之间的对应关系。Gorelick等【6】采用背景剪除后的二值剪影替代人体轮廓，构造出X．Y-T空间一上的空时目标，虽然它不需要建立序列l；!!ji之间轮廓点之间的对应关系，但仅适用于摄像机固定的情形。(3)流形学习法行为识别中所处理的视频数据处于三维空间，若将序列中每帧图像转换为向量并按时序排列构成矩阵处理，将会遭遇“维数灾难”，同时也会引起小样本问题。而流形学习方法假设数据均匀采样J：高维欧氏空间中的低维流彤，从高维采样数据中恢复低维流形结构，并求出相应的嵌入映射，以实现降维。它可分为线性方法及非线性方法。线性

8、流形学习假设数据位于线性空问，包括PCA、ICA等方法。但在实际情形下，数据并非位于线性空间，需要从大量样本中学习流形的内部几何结构。非线性流形学习方法大体分为两类，一类基于全局方法，如等距映射(届∞纠尸)，计算每一个数据点与其他数据点关系而建立全连接图。另一类方法基于局部，即考虑每个数据点与它邻域内的点的关系，定义