视频场景的结构恢复

《视频场景的结构恢复》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、视频场景的结构恢复与增强处理鲍虎军浙江大学无处不在的“视频”数字化设备的飞速发展视频采集“随心所欲”海量的视频数据一个崭新的高清晰时代即将到来数码摄像机普及化新的挑战如何重用这些海量的图象/视频?快速查找新的图象/视频如:ImageCompletionfromMillionsofImagesWalkthroughwithManyManyImagesVeryBigImagesHighRangeImagesandVideos图形与视觉计算计算机图形学和计算机视觉均与人类的视觉感知密切相关，总体上相对独立地向前发展，但在不断相互影响与融合。呈现为互补的正、逆向问题

2、：图形技术通过信息建模，模拟客观世界，绘制输出能被人类感知的信息，为认识和理解客观世界提供有效的模拟手段；视觉技术通过对人类视觉感知系统的模拟，对获取的视觉信息进行处理、识别与理解，使得计算机系统具有一定的视觉感知和理解能力。图形计算面临的挑战传统交互图形技术直接借助理想数学物理模型来模拟各种视觉效果主要集中在几何、表面反射属性、运动、光源、光能辐射传递过程的逼真、高效的表示和再现。确定性问题，建模过程复杂，画面具超现实感。面临的主要挑战：模拟的真实性计算的高效性交互的自然性视觉计算面临的挑战视觉技术从图像/视频中提取视觉信息特征，构造感知计算模型主要集中在视

3、觉信息处理、摄象机标定、场景重建、目标跟踪/识别/理解等方面。不确定性问题，精度、稳定性、自动化程度较低，算法普适性差，依赖获取的信息。面临的主要挑战：分析处理的自动性识别理解的准确性计算的鲁棒性和实时性视觉与图形计算的结合视觉与图形融合的核心问题能否借助视觉技术从获取的视觉信息中高效、稳定地提取并重用相关特征及其变化规律，增强图形处理的真实性和高效性；引入图形交互、先验知识、模型匹配和机器学习等方法，提高视觉计算的稳定性和精度。视频与图形的融合海量视频数据的拼接与整合视频序列与虚拟场景的无缝融合视频场景的几何、运动和属性重建基于视频信号的自然交互技术视频信号

4、的修复与编辑特征提取与匹配目标对象的自动跟踪与识别视频信号分析解决虚拟场景真实感知的问题人与虚拟环境自然交互的问题场景分割与理解最新研究进展表面细节的真实感增强纹理映射与合成复杂光源的表示高动态图象复杂动作、运动的合成运动数据场景的紧致表示与高效再现基于图象/视频的场景表示、重建、重光照人机交互动作识别和理解最新研究进展视频处理滤波、运动平滑、去模糊、超分辨率特征提取与匹配视频信号的修复目标对象的识别与自动跟踪场景分割/Matting场景结构恢复与理解视频合成视频与图形的融合视频交互特征提取与匹配VideoMatching[Sand2004]大视角变化下的特征

5、提取与匹配[Baumberg2000]SIFT目标对象识别基于尺度不变的特征提取与匹配[Lowe2004]（实时、难以处理匹配漂移、遮挡等基于颜色与光流的目标识别[Georgescu2004]可处理一定光照和视点变化，未考虑时序性目标对象的跟踪基于MeanShift的目标识别Comaniciu2000(非刚性、基于颜色分布的概率模型）基于统计学习的跟踪方法[Poggio1999]目标对象的自动跟踪基于统计模型的目标跟踪[Toch2003]（摄象机固定、人与车）利用Kernel-Based概率模型和改进的Kalman滤波方法的目标跟踪[Comaniciu2003

6、]场景分割与matting基于dominantmotion的方法统一的运动模型，精确度不高[Ayer1994,Irani1994,Csurka1999]同时决定场景中所有的运动，再作分割基于概率统计的方法[Ayer1995]基于先分割、再合并的方法[Wang1993]层次式的场景分割方法基于图像边缘[Smith2004]……视频合成原理利用原始视频信号所具有的特征直接生成新的视频序列VideoTexture[Schödl2000]PanoramicVideoTextures[Agarwala2005]高精度的同步视频插值算法[Zitnick2004]（分层表示

7、场景，立体深度恢复，多角度视频序列的插值与合成）意义将摄像机拍摄的视频与虚拟物体的无缝合成，可以达到真假难分的视觉效果，不仅“虚拟现实”，更是“增强现实”。分类实时合成：常见于电视节目直播和增强现实。合成质量比较粗糙，依赖于硬件设备（如visualset等）。非实时合成：常见于影视制作。合成质量精细，但大量依赖于艺术家的手工处理，极费人力和时间。视频与图形的融合视频虚实融合需要解决的问题几何一致性虚拟场景与视频场景共享同一个空间光照一致性虚拟场景与视频场景共享同一个光照环境合成一致性虚拟场景与视频场景之间的相互影响：如遮挡、阴影和相互反射三个一致性几何一致性视

8、频与图形融合的关键与基础,技术要求：恢