【新智元导读】这里是近5年100篇被引用次数最多的深度学习论文，覆盖了优化/训练方法、无监督/生成模型、卷积网络模型和图像分割/目标检测等十大子领域。重要的论文能够超越其应用领域让人获益。新智元在每个领域都选择了一篇论文重点介绍，这将是你纵览深度学习研究绝好的开始。【进入新智元公众号，在对话框输入“论文100”下载这份经典资料】

　　这里是100篇被引用次数最多的深度学习论文，开奖，从海量的相关论文中脱颖而出。无论其应用领域是什么，都值得一读，而在其各自的领域，它们是必读之作。

　　此前已经有一些很棒的深度学习论文的榜单了，比如说Deep Vision和Awesome Recurrent Neural Networks。而在我们这份list诞生之后，另一份面对深度学习初学者的榜单Deep Learning Papers Reading Roadmap也问世并得到了许多深度学习研究者的喜爱。

　　虽然这份Roadmap List囊括了许多重要的深度学习论文，对我来说还是有些太多了。正如我在导读中所说，我相信重要的论文能够超越其应用领域，让我们获益。因此，作为纵览深度学习研究的开始，我向大家推荐这100篇深度学习论文。

　　收录标准：

收录2012—2016年发表的Top100深度学习论文；

当list里增加一篇论文时，一般来说，我们会从“2016年的更多论文”里去掉一篇，以保证总数为100篇；

重要而未列入list的论文，会收入“100篇之外”；

最近6个月内发表的论文，或是2012年以前的论文，收入到“最新论文”或“老论文”中。

　　引用次数标准：

< 6个月 : 新论文(讨论决定)

2016 : +60 引用 或 "2016年的更多论文"

2015 : +200 引用

2014 : +400 引用

2013 : +600 引用

2012 : +800 引用

~2012 : 老论文(讨论决定)

　　比起某一应用领域内的论文，我们更倾向于选择适用于多个研究领域的开创性深度学习论文。基于此，有些达到了收录标准的论文可能没有被收入，而有些论文则相反。这取决于论文的影响力以及其对其他研究的适用性，等等。

　　目录

　　理解/概括/传递

　　优化/训练方法

　　无监督/生成模型

　　卷积网络模型

　　图像分割/目标检测

　　图像/视频/其他

　　递归神经网络模型

　　自然语言处理

　　语音/其他领域

　　强化学习

　　2016年的更多论文

　　（100篇之外）

　　新论文：最近6个月以内的

　　老论文：2012年以前的

　　HW/SW/数据集：技术报告

　　专著/调查报告/回顾

　　附录：

　　未收录的其他优秀论文

　　理解/概括/传递

　　在神经网络中提取知识

　　Distilling the knowledge in a neural network (2015)

　　作者 G. Hinton et al.

　　摘要：一个很简单的能改善几乎所有机器学习算法表现的办法，就是训练许多基于相同数据集的模型，并取这些模型的预测平均值。问题是，使用全部模型来进行预测是个笨办法，且允许大量用户部署的计算成本过于昂贵，特别是当个体模型是大规模神经网络时。Caruana和他的合作者已经论证，atv，有可能将一个集合中的知识压缩到一个单独模型中，部署起来也容易得多，而且我们使用了不同压缩技巧进一步扩展了这一方法。在MNIST上，我们取得了一些令人吃惊的成功，并展示了可以显著改善一个重度使用商业系统的声学模型，方法就是将集合中的知识概括进一个单独模型。我们也介绍了一个新型集合，由一个或更多的全模型以及许多学会了区分识别细粒度类别（全模型做不到）的专家模型组成，可以对这些专家模型进行快速、并行训练。

　　深度神经网络容易被骗：高信度预测无法识别的图片

　　Deep neural networks are easily fooled: High confidence predictions for unrecognizable images (2015)

　　作者A. Nguyen et al.

　　深度神经网络特征的可迁移性如何？

　　How transferable are features in deep neural networks? (2014)

　　作者J. Yosinski et al.

　　卷积神经网络现成的一些特性，对识别来说是令人惊奇的起点

　　CNN features off-the-Shelf: An astounding baseline for recognition (2014)

　　作者 A. Razavian et al.

　　使用卷积神经网络学习和迁移中层图像表征

　　Learning and transferring mid-Level image representations using convolutional neural networks (2014)

　　作者M. Oquab et al.

　　卷积网络的可视化和理解

　　Visualizing and understanding convolutional networks (2014)

　　作者 M. Zeiler and R. Fergus

　　DeCAF:一个应用于通用视觉识别的深度卷积激活特征

　　Decaf: A deep convolutional activation feature for generic visual recognition (2014)

　　作者 J. Donahue et al.

　　优化/训练方法

　　Batch normalization算法：通过减少内部协变量转化加速深度网络的训练

　　Batch normalization: Accelerating deep network training by reducing internal covariate shift (2015)

　　作者S. Loffe and C. Szegedy