【新智元导读】Memory 和 Attention 技术目前在深度学习中得到了较为广泛的采用，本文总结了这两项技术的最前沿进展。其中包括在分类、问答、神经网络翻译等方面的应用。作者在最后分析了Pointer Networks 在深度学习中的优势和原理。【进入新智元微信公众号，在对话框直接输入1027下载全部PPT】

深度学习中 Memory 和 Attention 的前沿进展

作者：Stephen Merity

　　分类任务

　　拥有好的数据，深度学习能在图像和文本分类中做到极高的准确率。而分类器的训练其实是非常容易的：6年级和7年级的中学生创建了一个定制的视觉分类器，准确率达到90%。

　　在医疗诊断方面的应用：颅内出血检查

　　ImageNet 中分类错误率逐年降低

　　GPU 提升表现

　　但是，深度学习并不是万能的。

　　问答任务

　　信息瓶颈

　　在什么地方，你的模型被迫使用一个压缩表示？最重要的是，这是一件好事吗？

　　神经网络与压缩，是不是似曾相似？

　　现实世界中，没有人会进行CNN压缩

　　除非是Magic Pony

　　推特与Magic Pony已经达成合作。

　　词向量

　　“dog”这个单词可以转化成100个维度的向量

　　通过Word2vec 的词向量

　　（少量）Memory，atv，（无）Attention

　　从输入层到隐藏层再到输出层

　　递归神经网络（RNN）的例子

　　神经机器翻译

　　Attention 与 Memory

　　神经机器翻译中的应用

　　动态记忆网络中的问答

　　结果，直播，聚焦三个实验：文本、视觉和Attention 可视化

　　问答任务中的Attention 和 Memory

　　Pointer Networks