多模态张量数据挖掘算法及应用

《多模态张量数据挖掘算法及应用》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、第３９卷第１期计算机科学Ｖｏｌ．３９Ｎｏ．１２０１２年１月ＣｏｍｐｕｔｅｒＳｃｉｅｎｃｅＪａｎ２０１２多模态张量数据挖掘算法及应用杨琬琪１，２１，２３１，２１，２高阳周新民杨育彬商琳（南京大学软件新技术国家重点实验室南京２１００９３）１２（南京大学江阴信息技术研究院无锡２１４４３３）（江苏省公安厅物证鉴定中心南京２１００２４）３摘要近年来，多模态数据挖掘技术备受关注，如何高效地挖掘大量多模态数据成为一个研究热点。其中，基于张量表示的多模态数据挖掘，即多模态张量数据挖掘，是一个重要的研究问题。综述了多模态张量数据挖掘算法进展及其在计算机视觉中的应用。首先根据算法的样本标记、任务和核心技术的不同

2、，对这些方法进行分类，并给出了相应的介绍和分析。其次，讨论了一些多模态张量数据挖掘算法在计算机视觉问题中的典型应用。最后，就多模态张量挖掘在计算机视觉领域的研究现状与研究前景进行了简要的分析。关键词多模态张量，数据挖掘，张量表示，计算机视觉中图法分类号ＴＰ３９１．４１文献标识码ＡＭｕｌｔｉ－ｍｏｄａｌＴｅｎｓｏｒＤａｔａＭｉｎｉｎｇＡｌｇｏｒｉｔｈｍｓａｎｄＡｐｐｌｉｃａｔｉｏｎｓ１，２１，２３１，２１，２ＹＡＮＧＷａｎ－ｑｉＧＡＯＹａｎｇＺＨＯＵＸｉｎ－ｍｉｎＹＡＮＧＹｕ－ｂｉｎＳＨＡＮＧＬｉｎ（ＳｔａｔｅＫｅｙＬａｂｏｒａｔｏｒｙｆｏｒＮｏｖｅｌＳｏｆｔｗａｒｅａｎｄＴｅｃｈｎｏｌｏｇｙ

3、，ＮａｎｊｉｎｇＵｎｉｖｅｒｓｉｔｙ，Ｎａｎｊｉｎｇ２１００９３，Ｃｈｉｎａ）１（ＪｉａｎｇｙｉｎＩｎｓｔｉｔｕｔｅｏｆＩｎｆｏｒｍａｔｉｏｎＴｅｃｈｎｏｌｏｇｙ，ＮａｎｊｉｎｇＵｎｉｖｅｒｓｉｔｙ，Ｗｕｘｉ２１４４３３，Ｃｈｉｎａ）２（ＪｉａｎｇｓｕＰｒｏｖｉｎｃｅＰｕｂｌｉｃＳｅｃｕｒｉｔｙＤｅｐａｒｔｍｅｎｔ，Ｎａｎｊｉｎｇ２１００２４，Ｃｈｉｎａ）３ＡｂｓｔｒａｃｔＭｕｌｔｉ－ｍｏｄａｌｄａｔａｍｉｎｉｎｇｔｅｃｈｎｏｌｏｇｉｅｓｈａｖｅａｔｔｒａｃｔｅｄｍａｎｙｒｅｓｅａｒｃｈｉｎｔｅｒｅｓｔｓｉｎｒｅｃｅｎｔｙｅａｒｓ．Ｍｉｎｉｎｇｌａｒｇｅａ－ｍｏｕｎｔｏｆｍｕｌｔｉ－ｍｏｄａ

4、ｌｄａｔａｅｆｆｉｃｉｅｎｔｌｙｂｅｃｏｍｅｓａｈｏｔｓｐｏｔｐｒｏｂｌｅｍ．Ａｍｏｎｇｔｈｅｓｅｍｕｌｔｉ－ｍｏｄａｌｍｉｎｉｎｇｔｅｃｈｎｏｌｏｇｉｅｓ，ｍｕｌｔｉ－ｍｏｄａｌｄａｔａｍｉｎｉｎｇｆｏｒｔｅｎｓｏｒｒｅｐｒｅｓｅｎｔａｔｉｏｎ，ｗｈｉｃｈｉｓａｌｓｏｃａｌｌｅｄａｓｍｕｌｔｉ－ｍｏｄａｌｔｅｎｓｏｒｄａｔａｍｉｎｉｎｇ，ｉｓｏｎｅｏｆｔｈｅｍｏｓｔｓｉｇｎｉｆｉｃａｎｔｒｅｓｅａｒｃｈｉｓｓｕｅｓ．Ｗｅｒｅｖｉｅｗｅｄｔｈｅｓｔａｔｅ－ｏｆ－ｔｈｅ－ａｒｔａｌｇｏｒｉｔｈｍｓｏｆｔｈｅｍｕｌｔｉ－ｍｏｄａｌｔｅｎｓｏｒｄａｔａｍｉｎｉｎｇａｎｄｔｈｅｉｒａｐｐｌｉｃａｔｉ

5、ｏｎｓｉｎｃｏｍｐｕｔｅｒｖｉｓｉｏｎ．Ｆｉｒｓｔｌｙ，ｍｕｌｔｉ－ｍｏｄａｌｔｅｎｓｏｒｄａｔａｍｉｎｉｎｇａｌｇｏｒｉｔｈｍｓｗｅｒｅｃａｔｅｇｏｒｉｚｅｄｉｎｔｏｄｉｆｆｅｒｅｎｔｃｌａｓ－ｓｅｓａｃｃｏｒｄｉｎｇｔｏｔｈｅｄｉｆｆｅｒｅｎｔｌａｂｅｌｉｎｆｏｒｍａｔｉｏｎ，ｔａｓｋａｎｄｃｏｒｅｔｅｃｈｎｏｌｏｇｙ．Ｉｎａｄｄｉｔｉｏｎ，ｓｏｍｅａｎａｌｙｓｅｓａｂｏｕｔｔｈｅｓｅａｌｇｏ－ｒｉｔｈｍｓｗｅｒｅｇｉｖｅｎ．Ｓｅｃｏｎｄｌｙ，ｓｏｍｅｔｙｐｉｃａｌｍｕｌｔｉ－ｍｏｄａｌｔｅｎｓｏｒｍｉｎｉｎｇａｌｇｏｒｉｔｈｍｓｉｎｃｏｍｐｕｔｅｒｖｉｓｉｏｎａｐｐｌｉｃａｔｉｏｎｗｅ

6、ｒｅｉｌ－ｌｕｓｔｒａｔｅｄ．Ｆｉｎａｌｌｙ，ｗｅｐｒｅｓｅｎｔｅｄｏｕｒｏｗｎａｎａｌｙｓｅｓｏｎｒｅｓｅａｒｃｈｓｔａｔｕｓｏｆｍｕｌｔｉ－ｍｏｄａｌｔｅｎｓｏｒｍｉｎｉｎｇａｌｇｏｒｉｔｈｍｓ，ａｎｄｅｘ－ｐｌｏｒｅｄｓｏｍｅｐｏｔｅｎｔｉａｌｆｕｔｕｒｅｉｓｓｕｅｓｏｆｍｕｌｔｉ－ｍｏｄａｌｔｅｎｓｏｒｍｉｎｉｎｇｉｎｃｏｍｐｕｔｅｒｖｉｓｉｏｎａｐｐｌｉｃａｔｉｏｎ．ＫｅｙｗｏｒｄｓＭｕｌｔｉ－ｍｏｄａｌｔｅｎｓｏｒ，Ｄａｔａｍｉｎｉｎｇ，Ｔｅｎｓｏｒｒｅｐｒｅｓｅｎｔａｔｉｏｎ，Ｃｏｍｐｕｔｅｒｖｉｓｉｏｎ４）张量表示可以有效解决向量表示的疑难问题，如维度１引言灾难、矩阵奇异等。

7、多模态数据（视频、音频、图像等）的挖掘是机器视觉、模本文综述了当前基于张量表示的多模态数据挖掘方法。式识别、人工智能等领域的重要技术之一。其中，多模态数据首先介绍张量代数的基础知识，其次对基于张量表示的多模的表示是多模态数据挖掘的核心问题。目前，多模态数据表态数据挖掘方法进行分类和描述，最后讨论基于张量表示的示分为向量表示与张量表示两类。不同于成熟的基于向量表多模态数据挖掘算法在计算机视觉上的应用。［１］，近