基于视觉感知的场景提取方法

《基于视觉感知的场景提取方法》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、基于生物视觉感知的场景提取方法陈硕吴成东陈东岳楚好（东北大学信息科学与工程学院）摘要：针对复杂背景环境下图像场景理解及分类中遇到的诸多难题，提出了一种模拟生物视觉感知的新的图像场景特征提取方法。该方法采用方向、颜色和亮度三种感知特征来构造视觉显著图，并对基本单元进行最大化处理来得到更加精确的方向信息。为了提高特征提取的速度，设计了区域分割算法，然后构造分割区域描述子，最后通过SVM对特征向量集合进行无监督分类以实现显著区域匹配，与传统方法相比，该方法提取的特征对于一定程度的仿射和光照变化具有较好的分类效果，实验结果表明上述方法能够较好地应用于场景分类及检索，并具有较强的时效性。引

2、言场景分类是运用数字图像处理与模式识别方法实现图像按场景分类与识别。其目标是把图像场景自动的分到有语义的场景分类方法中，如办公室、运动场、公路等。目前，在图像场景分类方法中，较为经典的有基于目标识别的方法、基于背景的方法、基于感兴趣区域分割的方法及基于模拟视觉系统（Humanvisionsystem，HVS）的方法。基于目标识别的方法多采用图像的局部特征来表示图像。Lowe[1]提出尺度不变特征转换（scaleinvariantfeaturetransform，SIFT）。Mikolajczyk[2]提出了尺度和仿射不变量的兴趣点检测GLOH算法。这些方法被成功应用到了很多领域。

3、但是基于目标的场景分类方法忽略了图像的空间信息，并且信息量非常大，因此时效性和泛化能力都存在很大的不足。基于背景的方法是利用图像的底层全局特征来表征图像的概要信息，一般采用小波变换、傅里叶分析等方法提取图像的纹理特征，并结合语义[3]分析方法来实现场景分类。实验证明该方法对实现复杂多变背景下[4]场景分类效果显著,但是该方法不能处理局部区域中的噪声及特征变化对分类造成的影响。基于感兴趣区域分割的方法在特征提取过程中应用了相关反馈算法,进一步学习产生用户的主观意图,如通过共生矩阵分割、水平集等方法实现。该方法需要很强的背景支持,主要应用于有监督分类,在无监督分类中不能得到满意的效果

4、。模拟HVS的场景分类方法就是通过模拟人的视觉层感知[5]功能来实现场景分类，现已成为神经系统科学和计算机视觉领域的研究热点。研究表明视皮层更为复杂的分块分层结构，生物视觉系统是一个串行和并行处理相结合的复杂系统，由此产生的感受野理论阐述了在视觉通道上各层次神经细胞所处理的信息分别对应于视网膜上的一个局部区域，感受野是支持视觉信息分层串行处理的最重要的生理学基础。Itti[6]等人构建了第一个基于神经生物学框架的视觉显著度计算模型，简称Itti模型。Siagian[7]等人开发了一个基于概要模型的场景分类框架，该框架增加了模拟人的注意力选择模块。Poggio[8]等人提出采用Cl

5、单元信息来反应视皮层中复杂的神经细胞。Song[9]等人提出生物感知特征（biologicalinspiredfeature，BIF）用于场景分类。1.场景分类框图设计图1基于生物视觉特征的场景分类框架基于Treisment[10]的特征整合理论（featureintegrationtheory，FIT）和Koch[11]提出的神经生物学结构框架，本文选择了方向、颜色和亮度三个符合视觉注意的特征作为场景特征，并通过改进Itti视觉注意模型得到融合这三种特征的显著图；然后利用单元最小化的区域生长算法对得到一些矩形区域，通过分块梯度方向直方图组合来生成特征区域描述子；最后采用SVM对

6、描述子向量进行无监督分类，根据显著区域匹配结果得到场景分类结果。基于本文提出的场景特征的场景分类框架如图1所示。2.场景特征提取图像的特征是用来表示图像信息并应用于图像分类及检索。本文通过多尺度滤波、单元最小化的区域生长、分块梯度直方图组合等步骤来实现场景的特征提取，并通过SVM对特征向量进行分类，进而来指导场景分类。2.1生物感知特征提取利用与感受野机制相似的Gabor滤波器来获得方向特征。Gabor基函数的一般形式如式(1)：式中为空间域中高斯函数的带宽。以g（x，y）为母小波，则通过对g（x，y）进行适当的尺度变换和旋转变换，就可得到自相似的一组滤波器，成为Gabor小波，

7、如式（2）所示：其中：=，，这里x和y的范围决定了Gabor滤波器的尺度变化范围，控制着方向数。采用Gabor滤波器组成一个具有八尺度（滤波器大小由77到2121，步长为2个像素），四方向（）的滤波器组，可以得到32幅滤波图像。由于Gabor提取的方向信息和视网膜神经细胞的响应不完全一致且相邻两个尺度的Gabor滤波器尺寸差很小，基于Poggio提出的cl单元对相同方向尺度相邻的2幅滤波图像进行一个最大化处理可以得到更加精确的方向信息，这样可将32幅滤波图像缩减为16幅。具体做法