译者：刘小芹、熊笑

　　【重要通知】【倒计时 3 天，点击“阅读原文”抢票】新智元和行业领袖英特尔联合举办，中国 AI 2017 开年盛典启幕在即。新智元327技术峰会暨颁奖盛典现场一律凭活动行二维码入场，大会于3月27日 8:00 正式开始签到，8:50会议开始，现场座位紧张请提前签到入场。活动行在大会现场设有咨询席位，但提前换二维码节省签到时间。请团购注册的公司关注，务必提醒参会的同事们手机接收二维码，如果不清晰可以打印出来，现场在签到处换领大会嘉宾胸卡。大会将在腾讯科技、云栖社区和爱奇艺上同步直播，欢迎关注。

　　【新智元导读】吴恩达在他的 NIPS 2016 tutorial 中曾说，迁移学习将是监督学习之后的，在ML 的商业应用中得到成功的下一波动力。现实世界是混乱的，包含无数新的场景。迁移学习可以帮助我们处理这些新遇到的场景。本文从迁移学习的定义、意义、应用、方法、相关研究等方面为读者展示了迁移学习令人激动的全景。

　　近年来，深度神经网络的进展很快，训练神经网络从大量有标记数据中学习输入和输出的映射变得非常准确，无论这些映射是图像、句子、还是标签预测，等等。

　　这些模型仍然不足的是将其泛化到与训练时不同的条件的能力。什么时候需要这种泛化能力呢？当你将模型应用到现实世界，而不是你精心构建的数据集的时候。现实世界是混乱的，包含无数新的场景，其中许多是你的模型在训练过程中没遇过的，因此反过来模型无法很好地预测。将知识迁移到新的条件的能力通常被称为迁移学习（transfer learning），这是这篇文章讨论的主题。

　　目录

什么是迁移学习？

为什么迁移学习是下一个前沿？

迁移学习的应用

　　从模拟中学习

　　适应新领域

　　跨语言传播知识

迁移学习方法

　　使用预训练的 CNN 特征

　　学习域不变表征

　　使表征更加相似

　　混乱域

相关研究领域

　　半监督学习

　　更有效地使用可得数据

　　提升模型的泛化能力

　　使模型更加鲁棒

　　多任务学习

　　Zero-shot 学习

结论

　　什么是迁移学习

　　在经典的监督学习场景中，如果我们打算为一些任务和一个 A 域（domain A）训练一个模型，我们得有为相同的任务和域提供的有标记数据。如图1所示，模型 A 的训练数据和测试数据与任务和 A 域的数据是一样的。有关“任务”和“域”的概念将在后文详细解释。现在让我们假设有一个我们的模型需要执行的目标任务，例如，识别图像中的对象，并且有一个域，即数据的来源，例如旧金山咖啡店的照片。

图1：ML 中经典的有监督学习设置

　　我们现在可以在这个数据集上训练一个模型 A，并期望它在同个任务和域的没见过数据上也表现良好。另一种情况是，当为其他任务或 B 域提供数据时，我们再次需要这些任务或域的有标记数据以用来训练一个新的模型 B，这样模型才可能在这些数据上表现良好。

　　当没有足够的有标记数据去为了某个任务或域训练模型时，传统的监督学习范式就会崩溃。

　　假如我们想训练一个模型来检测夜间照片上的行人，我们可以利用已经在类似的域进行过训练的模型，例如用白天照片训练过的模型。然而，实际上这样做经常会使模型表现糟糕，甚至崩溃，因为这个模型已经继承了训练数据带有的偏见，并且不知道如何泛化到新的域。

　　假如我们想训练一个模型去执行一个新的任务，例如检测骑自行车的人，我们甚至无法重复使用现有的检测行人的模型，atv，因为这些任务之间的标记是不同的。

　　但利用迁移学习，我们能够利用已经存在的相关任务或域的有标记数据去处理这些情况。我们尝试存储下在源域（source domain）中解决源任务（source task）所获得的知识，并将其应用于另外的任务。如图2所示。

图2：迁移学习的设置