基于时空金字塔联合特征的交互行为分析与系统设计.pdf

《基于时空金字塔联合特征的交互行为分析与系统设计.pdf》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、＇．．？：－＇，＇．—．＇－ｉ＇ｆ叫專一讀．：：：零寒苗，：：＞ｉ歡．震專：＇Ｖ抹＇．＇，餘节密歡公；Ｖ捕，；．马刊．嗦；義；句－＇；：；声ｆ；導，ｆ片ｒ黃钟；而，，：；，，／’赁：：．一‘４。；是＾；件装峡ｉＫ班ｆ赛ｔ雀＾緣｜＾ｖ．脅ｊ．条＂．一巧．；４．一？：‘＾４喪．－．’Ｖ．＾．Ｊ５．，皮緣伤么巧．，，、．‘．邏，汝心二．：ｖ－榮／傷１．巧－１ａ，＾＇背—；，－＂．＞察蕾．‘矣，．义Ａ声續ｖ１、／玄筆－Ａ－＾；善ｊ＾谭薩；－－Ｖ＇．Ｏ；．’．；＇篇ｒ．署；－編－：．＇．结繁身子．Ｖ矿：支题：’基Ｗ金訊嫌輔

2、．好＇‘Ｊ：＞，ｋｒ．；篇汾诚狱十＞＇．＾．，．Ｘ。．Ｈ．．Ｉ＇．方＾讀巧．斬．．．＇：分＞裏．、ｌ馨＼－皆．＞；六．勢．．＾，聲」ｆｎＷ矣，占＂．．ｓ氏．攝＞ｖ：巧察＾名Ｈ木ｓｒ＂黎ｉ：累Ｖ：＇‘Ｍ师昌红副ｉ＾ｌ兵ｖ．’芳；一＾ｒｌｒｊ别工離耐ｘ．」＜－．＇濟Ｖ．＾型全日＾＂＇．‘Ｉ＼／＃业ｉ＾＾电子綿信＾古－．娘期．－式侣馬人．可＇产ｒ，心４＂：音一’－一Ｍｕ：冉．：＇．Ｖ：巧／‘卢Ｖ著Ｊｖ冷HumanInteractionRecognitionResearchandS

3、ystemDesignusingSpatial-TemporalPyramidJointFeaturesThesisSubmittedtoNanjingUniversityofPostsandTelecommunicationsfortheDegreeofMasterofEngineeringByZhangJieSupervisor:Prof.ChenChangHongMay2015摘要人体行为分析技术是计算机视觉重要的研究领域，广泛应用于智能门店、智能监控预警等系统中。目前，对单人行为分析的研究较多，双人交互行为分析方面的工作还比较少。论文主要从特征提取和动作建模两个方面，对

4、双人交互行为展开研究，并在此基础上设计系统实现了论文中的算法。本文的主要工作如下：首先，本文从多特征融合的思想出发，提出了一种基于时空金字塔的特征提取与融合算法。该算法有效融合了两类特征：体现全局变化的轨迹特征和突出区域运动的时空特征。一方面采用KLT(Kanade-Lucas-Tomasi)跟踪算法生成特征轨迹，利用傅里叶算子描述轨迹轮廓，并与轨迹大小、方向组成原始特征，通过词袋模型处理得到全局外观特征。另一方面提取梯度方向直方图和光流方向直方图两种局部时空特征来描述交互主体的区域运动信息，采用三层时空金字塔模型中对两类时空特征进行稀疏编码以及Max-pooling的分层特征

5、处理，得到局部稀疏特征。最后，采用加权串联的思想将全局外观特征与局部稀疏特征得到交互特征描述符。实验表明，该描述符具有特征维数低，冗余度小和区分性好的特点。其次,实现了基于隐动态条件随机场(DynamicLatentConditionalRandomField,LDCRF)的交互行为识别算法，并设计出了行为识别系统。在UT、BT以及Hollywood三个交互动作库的实验结果表明本文所提算法取得了很好的识别效果。行为识别系统包括目标检测与跟踪、特征提取和行为建模与分析三个模块，系统能够实现对输入视频的实时分析，输出相应的特征信息和交互行为识别结果。关键词:轨迹特征，时空特征，稀疏

6、编码，时空金字塔，隐动态条件随机场IAbstractHumanactionrecognitionisanimportantareaofcomputervisionresearch.Ithasbeenwidelyusedinthesystemofintelligentstore,intelligentmonitoringandsoon.However,researchontheinteractionbetweentwopersonsisstilldifficult,comparedwiththehumanactionrecognition.Inthispaper,wemainly

7、studyfeatureextractionandactionmodelingofinteractionrecognition,anddesignthesystemtoimplementthealgorithm.Themaincontributionsareasfollows:Firstly,Withtheideaofmulti-featuresfusion,weproposeanalgorithmforfeatureextractionandprocessingbasedonspatial