摘要：训练深层神经网络由于在训练期间每个层的输入的分布改变而变得复杂，因为先前层的参数发生了改变。由于要求较低的学习速率和仔细的参数初始化，它减慢了训练，并且使得训练具有饱和非线性的模型变得非常困难。我们将这种现象称为内部协变量移位（internal covariate shift ），并通过归一化层输入（normalizing layer in- puts

　　）来解决问题。我们的方法将归一化作为模型架构的一部分，并对每个训练迷你批次（each training mini-batch）执行归一化，从而强化其强度。批量正规化允许我们使用高得多的学习速率，并且不用太考虑初始化的问题。 作为一个调节器，在某些情况下，它也消除了对dropout的需要。应用于最先进的图像分类模型，批量归一化在减少了14倍的训练步骤的情况下实现了相同的精度，并且以显著的余量击败原始模型。凭借一个批量归一化网络的集合，我们改进了ImageNet分类已发布的最好结果：达到4.9％的Top5验证错误（以及4.8％的测试误差），超过人类评估者的准确性。

　　深度探入纠正器：在 Imagenet 分类中超过人类表现

　　Delving deep into rectifiers: Surpassing human-level performance on imagenet classification (2015)

　　作者 K. He et al.

　　Dropout：一个预防神经网络过拟合的简单方式

　　Dropout: A simple way to prevent neural networks from overfitting (2014)

　　作者N. Srivastava et al.

　　Adam：一个随机优化的方法

　　Adam: A method for stochastic optimization (2014)

　　作者 D. Kingma and J. Ba

　　通过预防特征检测器的互相适应改善神经网络

　　Improving neural networks by preventing co-adaptation of feature detectors (2012)

　　作者G. Hinton et al.

　　超参数最优化的随机搜索

　　Random search for hyper-parameter optimization (2012) 作者J. Bergstra and Y. Bengio

　　无监督/生成模型

　　像素循环神经网络

　　Pixel recurrent neural networks (2016)

　　作者 A. Oord et al.

　　训练GANs的改善性技巧

　　Improved techniques for training GANs (2016)

　　作者T. Salimans et al.

　　摘要：近年来，利用卷积网络（CNN）的监督学习已经在计算机视觉应用中被广泛采用。 相比之下，使用CNN的无监督学习得到的关注较少。 在这项工作中，我们希望帮助弥合CNN的监督学习和无监督学习的成功之间的差距。 我们引入一类称为深层卷积生成对抗网络（DCGAN）的CNN，它们具有某些架构约束，已显示出它们是无监督学习的强有力的候选者。 对各种图像数据集的训练，我们展示了令人信服的证据，表明我们的深层卷积对抗组件从发生器和鉴别器中的对象到场景里面都学习了表征层次。此外，我们使用学习到的特性去完成新任务 – 这显示了它们像一般图像表征一样具有适用性。

　　使用深度卷积生成对抗网络进行无监督表征学习

　　Unsupervised representation learning with deep convolutional generative adversarial networks (2015)

　　作者A. Radford et al.

　　DRAW：一个用于图像生成的循环神经网络

　　DRAW: A recurrent neural network for image generation (2015)

　　作者K. Gregor et al.

　　生成对抗网络

　　Generative adversarial nets (2014)

　　作者I. Goodfellow et al.

　　自编码变量贝叶斯

　　Auto-encoding variational Bayes (2013)

　　作者D. Kingma and M. Welling

　　用大规模无监督学习构建高水平特征

　　Building high-level features using large scale unsupervised learning (2013)

　　作者Q. Le et al.

　　卷积网络模型

　　再思考计算机视觉的Inception结构

　　Rethinking the inception architecture for computer vision (2016)

　　作者C. Szegedy et al.