Building and Using a Semantivisual Image Hierarchy--论文读后总结

《Building and Using a Semantivisual Image Hierarchy--论文读后总结》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、BuildingandUsingaSemantivisualImageHierarchy——学术论文读后总结现代信息技术日新月异，发展飞速，数码相机已经人们生活中的得到普及，这使我们能够轻松地记录和分享生活中的每一个精彩瞬间。因此，在科技和网络相当发展到较高水平的今天，我们存储在设备中的或上传到网上的数字信息都是相当巨大的，这种信息量的急剧膨胀的情况下，我们迫切希望有一种工具，能够帮助我们更科学更方便地对这些巨大的信息量进行组织、浏览和检索。一种分层的观念就这么应运而生，因为分层是一种人们可以想到的自然而然的方法来结合图像的语

2、义与它所含的视觉信息。一个有意义的图像层次可以使我们能够更方便更高效地实现图像组织、浏览和检索，并可以进一步应用在图像的注释和分类中。1.已有算法的不足建立一个有意义的图像层次成为亟待解决的学术前沿问题，许多学者都曾在此领域进行探索，并取得了一些研究成果，【1,2】提出了基于语言的分层方法和基于底层视觉信息的分层方法。WordNet就是一种基于纯语言的分层方法，并在计算机视觉和多媒体领域广泛应用在图像检索【3,4,5】和目标识别【6,7】，这样的图像层次一定意义上对图像组织上有帮助，但是忽略了能够将图像联系在一起的更重要的视觉

3、信息。【8,9,10】中提出了基于纯视觉特征的分层方法，这种方法的提出是基于他们观察到图像的组织不是一定要遵循它们的语义层次，但很容易发现，纯视觉特征的分层方法的局限在与，这种特征难以描述，而且也难以直接地评估它在应用中的有效性。2.文章的贡献为了能够建立一个有利于完成诸如图像注释和图像分类这样任务的图像层次，作者提出了一种方法结合了图像的语义和视觉信息来创建图像层次。该方法的提出有一下贡献：1.给出图像集合和它们对应的标签集合，算法可以自动地创建一个图像层次，能够将这些图片以“普通—特别”的层次组织在一起；2.文章算法给出一

4、种通过人们主观感知的量化评估方法，得到这样的结论，文章提出的语义视觉层次相对于其他的分层方法更有意义、更精确。3.文中方法创建的图像层次能够在图像分类和图像注释等应用中更具有效性。文章在如何建立语义视觉层次、如何使用所创建的层次以及如何评估所创建的层次三个方面做了详细的阐释。3.建立图像层次建立图像层次的主要方法是：1.运用图像分割技术将图片分割为多个区域；2.对分割后的每个区域提取四个视觉特征，分别是颜色特征、纹理特征、位置特征以及量化的SIFT直方图【11】。3.一个图像与它对应的标签集合[W1,W2,…,Wm]组成一个“

5、图像-标签对”；4.每个图像都有一个文本的路径与之相对应，分割出的每一个子区域对应路径中的一个节点，这取决于该区域的视觉特征所表达的视觉概念。4.学习语义层次学习语义视觉图像层次，需要学习的参数有3个，分别是概念索引Z、耦合变量S以及路径C，为了能使表达统一概念的图像和标签能够联系起来，就需要学习Z个S，为了使一个图像对应其在图像层次中的位置，就需要学习Z和C。使用的数据集：文章中使用Flichr中4000个用户上传的图像以及538个不同的标签，涵盖了40个图像类别，使用这些图像和标签进行训练和学习，最后得到的图像层次包含了1

6、21个节点和4级的路径53条。这个图像层次有一下特点：1.层次中的路径遵循一个“普通—特别”的规则，在层次的上层表达的是更普通、更宽泛的概念，越往下走就是更具体、更具描述性的概念。2.纯视觉信息所建立的图像层次往往从某些角度讲不具有丰富意义，比如“在生日宴会上跳舞”与“生日蛋糕”两个内容的图像在纯视觉上很难联系起来，而文章中建立的图像层次就能够用它们的父节点“生日”将它们联系起来。3.纯语言的图像层次也会遗漏一些图像之间的联系，比如“铁塔”和“商业区”两个概念，但在文中建立的图像层次就能够用它们的父节点“建筑物”将它们联系起来

7、。4.文中建立的图像层次中，因为精密地结合了视觉和文本信息，较高层次的节点表达更普通的概念，而较低层次的节点表达更具体的概念，则图像与每个节点的对应情况是多样的，这是纯基于视觉特征的算法所达不到的。5.量化评估文章的另一个突出的贡献，也是区别于其他文献的重要部分，就是文章中实现了图像层次的量化评估。如何判断一个图像层次的有效性，文中提出了两种评估准则：1.图像层次中属于同一条路径的图像表达类似的概念，它们应该用类似的标签注释；2.对于同一条路径上的不同层次的节点而言，它们之间的关系应该是较高层次的表达较普通的概念，而较低层次的

8、表达较具体的概念。正对这两个评估准则，文章采用了两种评估方法进行实验：1.给出一副图像及描述它的6个文本标签，其中5个与图像内容联系密切，有1个与图像内容相关性低，通过文中训练学习的图像层次模型，能够识别出哪一个标签与图像内容不符，识别准确率高达92%。实验中与【12】中只使