由于反向传播使用链式规则来计算梯度（通过微分），朝向 n 层神经网络的「前」（输入）层将使其修改的梯度以一个较小的值乘以 n 次方，然后再更新之前的固定值。这意味着梯度将指数性减小。n 越大，网络将需要越来越多的时间来有效地训练。

13. 卷积神经网络

卷积神经网络（CNN）通常与计算机视觉和图像识别相关联，并采用卷积的数学概念来模仿生物视觉皮层的神经连接网格。

首先，正如 Denny Britz 所描述一样()，卷积可以被认为是在图像的矩阵表示之上的滑动窗口（见下文）。

来源：斯坦福

在神经网络结构中，至少在计算机视觉实现该概念将导致专用于处理局部图像的神经元的集合。当在某些例如自然语言处理的其他领域中使用时，鉴于输入（字，句子等）可以置于矩阵中并以类似的方式处理，故可以采取同样的方法。

14. 长短期记忆网络（LSTM）

　　来源：Christopher Olah()

长短期记忆网络（LSTM）是经优化以用于从时间相关数据中学习和作用的循环神经网络，而这些数据可能在相关事件之间具有未定义的或未知的时间长度。它们的特定架构给予 ANN「内存」并允许其持久性。最近手写识别和自动语音识别的突破便得益于 LSTM 网络。

这显然只是深度学习术语的一个小部分以及许多衍生的从基础到高级的概念。若欲了解更多关于机器学习研究当前领先的领域，您需要自行探索。

©本文由机器之心编译，转载请联系本公众号获得授权。

　　?------------------------------------------------

加入机器之心（全职记者/实习生）：[email protected]

投稿或寻求报道：[email protected]

广告&商务合作：[email protected]