到此为止，无论是天然的对偶学习，还是虚拟的对偶学习，都是用来解决无监督学习问题的。那么，如果实际中我们的训练数据已经非常多了，对偶学习的思想还有用吗？我们的答案是：有用，而且非常有用。

让我们来看一下监督学习的例子。我们有一个样本 X，原任务是要预测它的标签 Y。为此，我们可以使用已有的很多监督学习技术加以实现。但如果我们再给它人为增加一条对偶回路会怎样呢？假设存在一个对偶任务，是从标签 Y 到 X 的预测。那么原任务和对偶任务其实存在着非常内在的联系。利用全概率公式和贝叶斯公式我们可以很容易知道，这两个任务背后的条件概率是互相约束的，利用这一点可以构造一个非常强的正则项来提高模型的学习效率。我们在机器翻译上的实验表明，加入这个对偶正则项，开奖，翻译模型的 BLEU score 有大幅度的提升。

同样的道理，对偶学习的思想甚至可以提高 inference 的性能。假设我们的模型已经训练好了，原任务是要用它来做预测。传统的做法是，给定一个样本 X，基于已有模型，寻找能够使其条件概率 P(Y|X) 最大化的 Y 作为 inference 的结果。如果我们运用对偶学习的思想，就会发现问题还可以反过来看。从对偶任务的模型出发，利用贝叶斯公式，同样也可以导出条件概率 P(Y|X) 来。按理说这两个条件概率应该是一致的，但是因为原任务和对偶任务是独立进行的，实际中它们可能并不完全一致，那么如果综合考虑这两个条件概率，我们的置信度会得到提升。相应地，inference 的结果也会得到明显的提升。

到此为止我们介绍了对偶学习在无监督学习上的应用、在没有天然对偶结构时如何使用虚拟回路实现对偶学习、以及如何把对偶学习的思想延展到有监督学习和 inference 之中。

事实上，对偶学习是一个新的学习范式，而不单是一个技巧。它和我们熟知的很多学习范式，如无监督学习、半监督学习、co-training、多任务学习、迁移学习都有联系，又有显著不同。它提供了一个看待这个世界的不同视角，对很多难题提供了新的解题思路。我们非常有信心对偶学习在更多的领域将会取得成功。我们组的同事们正在这个方向上积极探索，也希望在座的各位能够加入我们，一起去推动对偶学习的发展，掀起人工智能的新浪潮，谢谢大家！

　　作者简介

刘铁岩，微软亚洲研究院首席研究员，美国卡内基-梅隆大学（CMU）客座教授、英国诺丁汉大学荣誉教授、中国科技大学、中山大学、南开大学兼职博导。刘博士的研究兴趣包括：人工智能、机器学习、信息检索、数据挖掘等。他的先锋性工作促进了机器学习与信息检索之间的融合，被国际学术界公认为“排序学习”领域的代表人物，他在该领域的学术论文已被引用近万次，并受斯普林格出版社之邀撰写了该领域的首部学术专著（并成为斯普林格计算机领域华人作者的十大畅销书之一）。近年来，刘博士在博弈机器学习、深度学习、分布式机器学习等方面也颇有建树，他的研究工作多次获得最佳论文奖、最高引用论文奖、研究突破奖，并被广泛应用在微软的产品和在线服务中。他曾受邀担任了包括SIGIR、WWW、KDD、NIPS、AAAI在内的顶级国际会议的组委会主席、程序委员会主席、或领域主席；以及包括ACM TOIS、ACM TWEB、Neurocomputing在内的国际期刊的副主编。他是国际电子电气工程师学会（IEEE）院士，美国计算机学会（ACM）杰出会员，中国计算机学会（CCF）高级会员、杰出演讲者、学术工委，中文信息学会信息检索专委会副主任。

　　你也许还想看：

　　微软小冰进驻微软研究院微信啦！快去主页和她聊聊天吧。