当地时间 12 月 5 日，机器学习和计算神经科学的国际顶级会议第 30 届神经信息处理系统大会（2016/1010/153351.html">NIPS 2016）在西班牙巴塞罗那开幕。大会第一天，百度首席科学家、Coursera 主席兼联合创始人、斯坦福大学 adjunct professor 吴恩达采用手写板书的形式做了一个主题为《使用深度学习开发人工智能应用的基本要点（Nuts and Bolts of Building Applications using Deep Learning）》的 tutorial 演讲。机器之心经授权对吴恩达教授演讲的幻灯片进行了汉化梳理。同时，机器之心特派记者加号也在现场聆听了吴恩达教授的演讲，并将演讲内容进行了整理和解读。

一年一度的 NIPS 又来了。今年举办地是笔者最爱的欧洲城市巴塞罗那。阳光沙滩配学术，确实很爽。这次的会议的第一天开场的大部分时间安排给了 tutorial。其中人数爆满的依旧是吴恩达（AndrewNg）的 session。笔者在此总结一下他的 tutorial 内容。一如以往的风格，这次吴恩达博士（有趣的是，本次官方介绍他的时候 使用的是 Dr. 而不是 Prof.）在台上也是纯白板讲演。

开场的时候，他问了一下全场观众哪些是来自工业界。哗哗哗，全场接近 50% 的观众举手了。确实，这几年的 NIPS 一年比一年火，并且工业界对这类学术会议的关注度也一年比一年高。吴恩达本人打趣道，正因为如此，他今天才没在准备的讲稿中加入任何一条公式，他希望他今天的 tutorial 更多的是能给大家带来理念上的更新，而不仅仅是晦涩难懂的新公式。

吴恩达博士这次 tutorial 的主题是：「nuts and bolts of building AI」，翻译成中文就是「建造人工智能系统小细节」，也就是说，这篇 tutorial 将会更多地注重于给涉足人工智能领域的业界公司一点点人生经验。

演讲主题概述：你应该怎样将深度学习用于你的业务、产品或科研？高扩展性的深度学习技术的兴起正在改变人们解决人工智能问题的最佳方式。这包括：如何定义你的训练/开发/测试（train/dev/test）分配，如何组织你的数据，应该如何在各种有希望的模型架构中选择你研究所需的架构，以及甚至你可以怎样开发新的人工智能驱动的产品。在这个 tutorial 中，你将了解到这个新兴领域中涌现出的最佳实践。你还将了解当你的团队在开发深度学习应用时，如何更好地组织你和你的团队的工作。

规模造就了深度学习（Scale driving Deep Learning progresses）

开篇，吴恩达博士分析了一下当今深度学习这么火的原因。

P2：趋势 1：规模正在推动深度学习的进步。随着数据量的增多，规模越大的神经网络的性能/表现（performance）就越好。

他指出，深度学习之所以这么火，主要原因是神经网络（NN）可以扩大规模（scale），甚至是可以无限地扩展。扩展之后所带来的效果是稳步提升的。并且靠扩展规模来引领深度学习，依旧会成为这个领域未来发展的大潮流。

说到这里，吴博士开始给出他的第一条人生经验：我在百度的团队构架如下：

他认为在这个时代，没有人能做到在系统构架（底层）与深度学习（算法）方面都是专家，所以他的团队严格区分了两者的职责。所以，深度学习技术创业公司在技术团队建设的时候，可以做做参考。

端对端学习的崛起（the rise of end-to-end learning）

吴恩达博士还指出深度学习领域的另一个大潮将是端对端的学习（End2End learning）。

P3：趋势 2：端到端学习的兴起

传统上的端到端学习是把实体数据表达成数字数据，并通过机器学习的方法，输出数字数据作为结果。比如对电影评论数据的情感分析：输入的是文本，然后通过自然语言处理（NLP）把文本数据表达成数字向量，再通过机器学习计算，得出一个情感值，用以作为对这条评论的情感判断。这也是一种端对端的模型，但是它的结果还是一个数字值。