Terry 是人工智能界，第一代把 Turing 的思想贯穿下去的人。他不光在人工智能领域做了最重要的工作，而且他后来转行去做人机交互，也把这个领域重新带动了起来。

　　Terry 和李飞飞二人都是斯坦福教授，并且是邻居。

　　Terry 带来了什么？Terry 把人工智能应用在了怎么去建造一个思考的机器上。他说一个人，或者一个机器，要去理解世界，需要去感知。感知以后，需要做的第一件事是对这个世界的结构进行理解。

　　这叫 Syntax Understanding。Syntax 在自然语言处理领域叫语法，在计算机视觉这个领域可能叫三维结构。Terry 说，Syntax 以后，我们需要理解 Semantics（语义）。Semantis 做的事情就是 Understanding Meaning（了解含义），语言有语言的含义，视觉有物体、有动作，有视觉的含义。

　　最后，当我们把 Semantics 和 Syntax 解决以后，智能的机器或者是人，主要解决的问题就是 Inference，Inference 就是统计推导、统计推理这个过程。

　　所以在 Terry 看来 ，要实现人工智能，需要有这 3 个要素：Syntax、Semantics、Inference。

　　有了这样的思想框架做引导，Terry 写了一篇在人工智能历史上非常重要的博士毕业论文。这个论文给了我们一个 System，我不知道在座有没有同行们听说过这个 SHRDLU，它用一个像积木一样的世界，用积木搭建了一个世界，在这个世界里，让我们来完成 Syntax（语法）、Semantics（语义）、Inference（推导）这样的 loop（循环）。

　　这篇论文是 70 年代初写的，从 70 年代初一直到 80 年代末 90 年代，其实，人工智能貌似没有太多的发展。为什么呢？如果 70 年代就有一个计算机系统，可以理解人的指令。为什么我们到 2016 年，才关注到人工智能？2016 年，亚马逊的 Echo 和 Alexa，也好像做的事情区别不大。

　　为什么 60 年代、70 年代、80 年代的人工智能, 没有我们预期的做得那么好，问题出在它的演进的过程。

　　在机器学习这个领域崛起之前，人工智能的系统都是 hand-design rules，这个 rule 十分复杂，而且都完全是用手工，用科学家的聪明的脑袋，想出来的 rule。

　　这些 rule，会有什么样的问题？其实 Terry 这样绝顶聪明的人，他能建立这个系统，这个 rule 肯定已经是包罗万象了，但是这些 rule 还是有 3 个比较大的致命问题：

　　1. Scalable（可扩展的）。你不可能把天下所有的 rule，都写进一个程序。

　　2. Adaptable（可适应的）。当你给系统设计这个 rule 的时候，你很难把它转换到另外一个 rule。比如说，英文的语法、语义，我可以设计很多 rule。可是，我要把它放进中文，它的语法就完全不一样了，我就得重新设计出来一套 rule。

　　3. 它是一个 Closed word。

　　所以说，Hand-design Rules 在 AI 这个领域发展的早期，给我们带来了一些曙光，但是它并没有把我们带进真正的光明。到了 80 年代开始，一个重要的子领域在人工智能领域开始发展，就是机器学习。

　　机器学习是什么呢？机器学习和传统学习最大的区别，我在这里给大家画出来了。你可以想象，传统的学习，是用人认识这个知识，然后再灌输给它，让机器学习，这就像 Terry 他们做的事情一样。

　　但是，机器学习不一样，机器学习是把认知知识这一层给省掉了，可以直接把数据放进学习组件，让这个学习组件去学习一个知识，这个知识可以发挥作用。

　　但最近一个特别重要的算法，就是所谓的 Artificial Neural Network，从 80 年代开始，它叫神经网络。神经网络有很长的历史，50 年代 Rosenbatt 就提出了 PERCEPTRON 这个概念，这个概念就是把这些细胞怎么结合起来，然后一层一层地输入数据，然后输出结果（take layers of input and take output）。

　　到了 60 年代初，一个重要的神经生物学的发现，又推动了这个思路，这就是 Huble and Wiesel，在通过对猫的脑子做实验的时候发现，哺乳动物视觉的感知，实际就有这种神经网络的概念，它是一层一层的细胞不断的推进，从简单的层面到复杂的层面。

　　到了 1980 年，70 年代末，一个重要的日本计算机科学家，叫 Fukushima，做出了第一个 Neocognnitron 的神经网络，可以识别数字和字母。

　　到了 90 年代末，通过 Geoffrey Hinton、Yan LeCun 进一步的把学习的 rules 更优化了以后，就出现了今天大家比较熟悉的卷积神经网络。