计算机需要关于世界如何运作以及如何与之交互的因果模型。人们不会说一切事情来表达一个信息，只会说没有被我们共同的概念所涵盖的东西 。编码我们的共享概念最有效的方法来是借用模型。模型表达了世界如何根据事件变化。回顾商务购买框架 ，后来，一个人有更多的钱，另一个人有更少的钱 ，从模型中读出这样的结论 。

　　模型的纬度：

　　概率：确定性与随机比较。例如,逻辑与概率编程比较

　　因素状态：整体状态和使用变量比较。例如,有限自动机与动态贝叶斯网络比较

　　相关性： 命题逻辑和一阶逻辑比较。 例如, 贝叶斯网络与马尔可夫逻辑网络

　　同时发生Concurrent： 对一个事物模型与多个事物比较。例如, 有限自动机与Petri网比较

　　时间的： 静态与动态比较。 例如, 贝叶斯网络与动态贝叶斯网络比较

　　通过模型合并表达法：

　　Word2vec

　　Word2vec模型为词汇表中的每一个单词学习一个向量。每个词向量的维度是相同的，一般在300左右。和tf-idf向量不同，词向量是紧密的，大部分值不是0。

　　1.将每个单词初始化为一个随机向量

　　2.对于文档集里的每一个单词w1:

　　3.对于单词w1周围的每一个词w2:

　　4.移动向量，使w1和w2距离更近，同时其他单词和w1的距离更远。

　　5.若没有达到终止条件，开奖，跳转到步骤2

　　——Skip-gram 模型 （Mikolov et al., 2013）

　　注意：实际上每个单词对应两个向量，因为你不希望一个单词是在它本身附近的。（参见Goldberg and Levyhttps://arxiv.org/pdf/1402.3722v1.pdf ）， 这个双层for循环的解释出自 Christopher Moody

　　word2vec 的含义：

　　我们常常可以看到这样名言:

　　“你可以通过一个词附近的其它词来理解这个词”

　　——J. R. Firth 1957

　　从某种意义上讲，这个似乎是个事实。

　　“向量具有内部结构。”

　　——Mikolov et al., 2013

　　意大利– 罗马= 法国– 巴黎

　　国王– 女王= 男人– 女人

　　但是……单词不是基于经验的，它们只是依赖于周围的其它单词的。

　　（也可以在ConceptNe上进行word2vec, 参见https://arxiv.org/pdf/1612.03975v1.pdf）

　　seq2seq 模型

　　seq2seq(序列-序列)模型可以对一个符号的序列进行编码，例如一个句子，将其编码为一个向量。进而，atv，模型可以将向量解码为另一个符号的序列。编码和解码都可以通过循环神经网络(RNNs)进行。一个明显的应用就是机器翻译。例如，源语言是英语，目标语言是西班牙语。

　　将句意编码为向量：

　　将句意解码：

　　生成图片题注：

　　回答提问

　　兴趣点：

　　深度学习与回答提问：

　　神经网络学习到了各个符号序列之间的联系，但是这种描述并不足以覆盖真实世界的丰富的联系。

　　外部世界训练