迁移学习-北京航空航天大学

《迁移学习-北京航空航天大学》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、专题第 14 卷第9 期2018 年 9 月迁移学习：回顾与进展12杨　强　童咏昕1香港科技大学2关键词：迁移学习　人工智能　小数据学习北京航空航天大学创造智能的梦想，一直以来是激励人类在人分验证。1997年，“深蓝”通过在状态空间搜索打工智能领域不断披荆斩棘的动力。人工智能也在一败了国际象棋世界冠军卡斯帕罗夫，其本质上是物直不断地开拓新的技术和应用。然而，不断发展的理符号空间的排列组合计算。随着大数据时代的到人工智能技术对计算资源和数据资源的需求也在激来，更加有效的机器学习方法如卷积神经网络和深增，逐渐成为人工智能新的瓶颈。度神经网络等，使得从数据中获取智慧这一方案在如何解决这一困

2、境？近年来迁移学习逐渐走入语音处理、图像识别等诸多领域取得了巨大的成功。人们的视野。迁移学习旨在将其“举一反三”的能强化学习是一种“无中生有”的智能创造方式，其力具象为算法框架，将某个领域的知识迁移到另一通过在AlphaGo项目中与深度学习“联姻”，引起个领域的学习中，从而打破数据资源的桎梏。从20了人们的广泛关注。AlphaGo的进阶版本AlphaZero世纪90年代以来，迁移学习已经逐渐发展出了样更是通过纯粹的强化学习方法获得了优于AlphaGo本迁移、特征迁移、模型迁移和关系迁移等多个门的棋力。类，并且和深度学习有了进一步的结合。在图片数上述研究均取得了很大成就，但都需要耗费巨

3、据、文本数据等多种数据的学习建模领域崭露头角，大的计算资源和数据资源。然而，反观人类从蒙昧建立起较为成熟的理论和实践体系，逐步将小数据无知的婴儿逐渐长大成人的过程，你会觉得很有趣。学习从理论变为现实。知识和智慧的增长速度一开始很慢，但随着知识量的增加，人类学习新知识的速度越来越快。这其中从人工智能到迁移学习涉及到的一个关键问题是人类具有举一反三，或者说知识迁移的能力，这使得人类通过极少量的样本在20世纪60年代人工智能发展早期，人们认就可以完成有效的学习。比如，会骑自行车的人更为智能来自逻辑，希望通过对计算物理符号的排列容易学会骑摩托车；精通一门编程语言的人，学习组合来实现人工智能，

4、因此研究了诸如下棋、推理、其他编程语言也会觉得十分简单。路径规划等问题，并取得了一些成就。经过十几年受到这一想法的启发，近年来迁移学习开始受发展，人们发现智能也可以来自程序的自我学习，到关注。而除了模仿和解释人类学习的机理之外，并发明了各种各样的机器学习方法，包括神经网络。机器学习依赖大量数据的困扰也是迁移学习发展的从20世纪90年代一直到21世纪，随着机器计动力。虽然在某些领域，我们已经积累了大量的数算能力的大幅度提高，上述方法的可行性均得到部据，但仍有许多领域处于数据匮乏的状态，在这些36第 14 卷第9 期2018 年 9 月领域应用人工智能技术会异常困难。如果我们能使迁移学习

5、成为机器学习中一个重要的分支领域。近用迁移学习的方法论，就可以有效解决这些问题。些年，深度迁移学习、迁移强化学习的提出让我们例如，我们可以在和小数据领域A相邻的领域找到看到了这一领域非凡的潜力。拥有大量数据的领域B，如果B和A之间的知识迁按照迁移学习形式化的定义，它的目的是借助移成功，那么在A领域就不用收集如此庞大的数据一个源数据集来学习目标数据集的一个预测函数。集了。基于其对人工智能领域的重要意义，迁移学我们按照学习方法把迁移学习分成样本迁移、特征习被认为是下一轮人工智能技术落地的关键。迁移、模型迁移和关系迁移四个类别。样本迁移迁移学习简述源数据（图像）目标数据（图像）迁移学习，顾

6、名思义，就是把在某个领域获取的知识迁移到对另一个领域的学习中，也就是举一反三。人类对举一反三的理论性研究要追溯到1901年，心理学家桑代克(Thorndike)和伍德沃思狗样本1狗样本2狗样本3狼样本[1](Woodworth)提出了学习迁移(transferoflearning)图2　样本迁移示例的概念。他们主要研究了人们学习某个概念时如何对学习其他概念产生迁移，这些理论对后来教育学基于样本的迁移学习是试图通过对源数据中的的发展产生了重要影响。每个样本赋予新的权重，使其更好地服务于新的学习任务。我们从源数据中挑选出和目标数据更相似不同学习任务源任务目标任务的样本来参与训练，而剔除和

7、目标数据不相似的样[4]本。如图2所示，假如我们想训练一个模型来识别一幅图片中是否有狼，但是大部分包含狼的图片都没有标签，这使得传统的有监督学习难以生效。学习系统学习系统学习系统知识学习系统我们有另一个标签齐全的数据集，包含不同品种的(a)传统机器学习(b)迁移学习狗的图片。我们的算法在观察少部分狼的图片以后，发现狗的图片中哈士奇和预测目标具有极其相似的图1　传统机器学习与迁移学习特性，而贵宾犬显然不具备这种共性。因此，在借随着人工智能与机器学习的兴起，人