基于多特征融合的动作识别方法

《基于多特征融合的动作识别方法》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、??????????文章编号:２０９５－１２４８(２０１７)０２－００５５－１１??信?息?与?科?学?工程???基于多特征融合的动作识别方法１ꎬ２１１石祥滨ꎬ李菲ꎬ刘翠微(１?沈阳航空航天大学计算机学院ꎬ沈阳１１０１３６ꎻ２?辽宁大学信息学院ꎬ沈阳１１００３６)摘要:提出一种基于多特征融合的动作识别方法ꎬ利用随机森林学习框架融合ＲＧＢ－Ｄ图像序列中的深度特征和时空特征ꎮ从深度图像序列中获取人的关节点位置信息ꎬ利用关节点坐标提取两种新的深度特征———位移特征和部件中心特征ꎬ共同描述人体三维结构信息ꎮ从ＲＧＢ图像序列中提

2、取稠密轨迹ꎬ保留前景内的轨迹排除背景干扰ꎬ利用词袋模型构建时空特征ꎮ最后ꎬ采用鲁棒高效的随机森林学习框架融合两种互补的特征ꎮ在ＭＳＲＤａｉｌｙＡｃｔｉｖｉｔｙ３Ｄ数据集上的实验结果表明ꎬ所提出的方法和特征能够有效地识别ＲＧＢ－Ｄ图像序列中人的动作ꎮ关键词:人的动作识别ꎻ特征融合ꎻ随机森林中图分类号:ＴＰ３９１?９文献标志码:Ａｄｏｉ:１０.３９６９/ｊ.ｉｓｓｎ.２０９５－１２４８.２０１７.０２.０１０Ｍｕｌｔｉ￣ｆｅａｔｕｒｅ￣ｆｕｓｉｏｎｂａｓｅｄｈｕｍａｎａｃｔｉｏｎｒｅｃｏｇｎｉｔｉｏｎｍｅｔｈｏｄ１ꎬ２１１

3、ＳＨＩＸｉａｎｇ￣ｂｉｎꎬＬＩＦｅｉꎬＬＩＵＣｕｉ￣ｗｅｉ(１?ＣｏｌｌｅｇｅｏｆＣｏｍｐｕｔｅｒＳｃｉｅｎｃｅꎬＳｈｅｎｙａｎｇＡｅｒｏｓｐａｃｅＵｎｉｖｅｒｓｉｔｙꎬＳｈｅｎｙａｎｇ１１０１３６ꎬＣｈｉｎａꎻ２?ＳｃｈｏｏｌｏｆＩｎｆｏｒｍａｔｉｏｎꎬＬｉａｏｎｉｎｇＵｎｉｖｅｒｓｉｔｙꎬＳｈｅｎｙａｎｇ１１０１３６ꎬＣｈｉｎａ)Ａｂｓｔｒａｃｔ:Ｔｈｉｓｐａｐｅｒｐｒｏｐｏｓｅｄａｎｏｖｅｌａｃｔｉｏｎｒｅｃｏｇｎｉｔｉｏｎｍｅｔｈｏｄｂａｓｅｄｏｎｍｕｌｔｉ￣ｆｅａｔｕｒｅｆｕｓｉｏｎ.Ｉｎｔｈｉｓｍｅｔｈｏｄ

4、ꎬｔｈｅｓｐａｔｉａｌ￣ｔｅｍｐｏｒａｌｆｅａｔｕｒｅｓａｎｄｄｅｐｔｈｆｅａｔｕｒｅｓｗｅｒｅｍｅｒｇｅｄｉｎａｒａｎｄｏｍｆｏｒｅｓｔｆｒａｍｅｗｏｒｋ.Ｔｈｅｈｕ￣ｍａｎｂｏｄｙｊｏｉｎｔｃｏｏｒｄｉｎａｔｅｓｏｂｔａｉｎｅｄｆｒｏｍｄｅｐｔｈｉｍａｇｅｓｅｑｕｅｎｃｅｓｗｅｒｅｐｒｏｃｅｓｓｅｄｉｎｔｏｄｉｓｐｌａｃｅｍｅｎｔｆｅａｔｕｒｅａｎｄｐａｒｔ￣ｃｅｎｔｅｒｆｅａｔｕｒｅａｓｔｗｏｎｅｗｄｅｐｔｈｆｅａｔｕｒｅｓ.Ｗｅａｐｐｌｉｅｄｔｈｅｓｅｔｗｏｄｅｐｔｈｆｅａｔｕｒｅｓｔｏｄｅｓｃｒｉｂｅｔｈｅｔ

5、ｈｒｅｅ￣ｄｉｍｅｎｓｉｏｎｓｔｒｕｃｔｕｒｅｏｆｈｕｍａｎ.ＷｅｄｅｎｓｅｌｙｓａｍｐｌｅｄｔｈｅｔｒａｊｅｃｔｏｒｉｅｓｆｒｏｍＲＧＢｉｍａｇｅｓｅｑｕｅｎｃｅｓꎬａｎｄｕｔｉｌｉｚｅｄｔｈｅｆｏｒｅｇｒｏｕｎｄｄｅｔｅｃｔｉｏｎａｐｐｒｏａｃｈｔｏｒｅｄｕｃｅｔｈｅｅｆｆｅｃｔｏｆｃｏｍｐｌｅｘｂａｃｋｇｒｏｕｎｄ.Ｔｈｅｎｓｐａｔｉａｌ￣ｔｅｍｐｏｒａｌｆｅａ￣ｔｕｒｅｓｗｅｒｅｃｏｎｓｔｒｕｃｔｅｄｂｙｔｈｅＢａｇ￣ｏｆ￣Ｗｏｒｄｓｍｏｄｅｌｗｉｔｈｔｒａｊｅｃｔｏｒｉｅｓｆｒｏｍｔｈｅｆｏｒｅｇｒｏｕｎｄ.

6、Ｆｉｎａｌｌｙꎬｔｈｅｒｏｂｕｓｔｒａｎｄｏｍｆｏｒｅｓｔｆｒａｍｅｗｏｒｋｆｕｓｅｄｂｏｔｈｔｈｅｓｐａｔｉａｌ￣ｔｅｍｐｏｒａｌｆｅａｔｕｒｅｓａｎｄｔｈｅｄｅｐｔｈｆｅａｔｕｒｅｓｆｏｒｒｅｃｏｇｎｉｚｉｎｇｈｕ￣ｍａｎａｃｔｉｏｎｓｉｎＲＧＢ￣Ｄｉｍａｇｅｓｅｑｕｅｎｃｅｓ.ＥｘｐｅｒｉｍｅｎｔａｌｒｅｓｕｌｔｓｏｎＭＳＲＤａｉｌｙＡｃｔｉｖｉｔｙ３Ｄｄａｔａｓｅｔｄｅｍｏｎｓｔｒａ￣ｔｅｄｔｈｅｅｆｆｅｃｔｉｖｅｎｅｓｓｏｆｔｈｅｐｒｏｐｏｓｅｄｍｅｔｈｏｄ.Ｋｅｙｗｏｒｄｓ:ｈｕｍａｎａｃｔｉｏｎｒｅｃｏｇ

7、ｎｉｔｉｏｎꎻｍｕｌｔｉ￣ｆｅａｔｕｒｅｆｕｓｉｏｎꎻｒａｎｄｏｍｆｏｒｅｓｔ人的动作识别是计算机视觉领域中一个富有挑战性的研究课题ꎬ涉及到模式识别、机器学习和收稿日期:２０１７－０２－２０基金项目:国家自然科学基金(项目编号:６１１７０１８５ꎬ６１６０２３２０)ꎻ辽宁省博士启动基金(项目编号:２０１６０１１７２)ꎻ辽宁省教育庁一般项目(项目编号:Ｌ２０１６０７ꎬＬ２０１４０７０)ꎻ沈阳航空航天大学校博士启动基金项目(项目编号:１５ＹＢ３７)作者简介:石祥滨(１９６３－)ꎬ男ꎬ辽宁大连人ꎬ教授ꎬ主要研究方向:分布式虚拟

8、和现实、图像与视频理解、无人机协同感知与控制ꎬＥ￣ｍａｉｌ:１９９６３０８２４＠ｑｑ?ｃｏｍꎮ５６沈阳航空航天大学学报第３４卷认知科学等多个学科领域ꎬ具有广泛的应用价值ꎬ动作进行描述ꎬ前者描述了视觉表观信息和运动如:智能视频监控、高级人机交互、虚拟现实等ꎮ信息ꎬ后者描述了人的三维结构信息ꎮ在真实场景下采集的图像序列往往存在复杂的背