本港台开奖现场直播 j2开奖直播报码现场
当前位置: 新闻频道 > IT新闻 >

【组图】资源 | Bengio和LeCun在NIPS 2016上的演讲(附PPT)

时间:2016-12-11 16:48来源:天下彩论坛 作者:开奖直播现场 点击:
NIPS 2016召开至今,干货满满, 、 、 等公司和学者的演讲、展示的材料不断放出。今天小编又给大家带来两位重磅级学者Yoshua Bengio 和 Yann LeCun 在NIPS2106上的讲演材料。Bengio主要介绍从

2016/1210/181311.html">NIPS 2016召开至今,干货满满,直播等公司和学者的讲、展示的材料不断放出。今天小编又给大家带来两位重磅级学者Yoshua Bengio 和 Yann LeCunNIPS2106上的讲材料。Bengio主要介绍从生物学角度介绍了深度学习,而LeCun讲解了基于能量的GAN及其对抗训练的方法。点击阅读原文即可下载两份材料的PDF

1【生物学可信深度学习】《Towards biologically plausible deep learning》by Yoshua Bengio

【j2开奖】资源 | Bengio和LeCun在NIPS 2016上的演讲(附PPT)

【j2开奖】资源 | Bengio和LeCun在NIPS 2016上的演讲(附PPT)

P2-5.深度学习的核心议题是信用分配

也就是,隐藏层要做什么才能对其他层及该网络更大的目标有用?现有的方法是反向传播算法及玻尔兹曼机中的随机松弛。但是强化学习不行,因为方差会随着神经元获得的信用数量呈线性上升。那么大脑有时如何做的呢?

生物学上可信的反向传播。

连续 Hopfield 神经网络的能量函数变异

  

【j2开奖】资源 | Bengio和LeCun在NIPS 2016上的演讲(附PPT)

P6-9. 作为推理的神经计算需要对称性,巧合的是没有强制对称的自动编器最终会有对称权重。反向传播不需要严格的对称。

  

【j2开奖】资源 | Bengio和LeCun在NIPS 2016上的演讲(附PPT)

P10-13 如何在负相中进行快速推理(后验采样)。对于深度生成网络的快速推理前馈初始化在生物学上是可信的。误差的传递是件好事,直播,因为它能实现一种和谐。而误差的传递其实就是增量目标的传递。

  

【j2开奖】资源 | Bengio和LeCun在NIPS 2016上的演讲(附PPT)

P15-22 我们如何训练一个执行计算的物理系统?首先要实现动态平衡

  

【j2开奖】资源 | Bengio和LeCun在NIPS 2016上的演讲(附PPT)

P23- 26STDP 连接

平衡传播产生 STDP——一个微分对比的 Hebbian 更新

P27. 继承反向传播的特性

P28. 误差传递等于增量目标的传递

  

【j2开奖】资源 | Bengio和LeCun在NIPS 2016上的演讲(附PPT)

P29-30. 平衡传播包括作为前馈网络中一个特例的一般反向传播

P31. 开放性的问题

摆脱能量公式的局部极小值,同时泛化到被其动力学限制的系统中,还要学习过渡算子(transition operator),这样就可以避免权重对称约束

将这些想法推广到无监督学习中

一段时间后反向传播会怎么样呢?

  

【j2开奖】资源 | Bengio和LeCun在NIPS 2016上的演讲(附PPT)

P32. STDP vs 反 STDP:可能吗?

P33. Variational Walkback

  

【j2开奖】资源 | Bengio和LeCun在NIPS 2016上的演讲(附PPT)

P34.GAN 在大脑中的部署和 Actor-Critic 算法:质疑单一目标优化 Dogma

2.【能量 GAN 与对抗方法】《Energy-Based GANs & other Adversarial things》by Yann LeCun

  

【j2开奖】资源 | Bengio和LeCun在NIPS 2016上的演讲(附PPT)

P2. 无监督学习

P3. 基于能量的无监督学习

学习一个满足以下两个条件的能量函数

在数据流形上取值较低

在其他地方取值较高

  

【j2开奖】资源 | Bengio和LeCun在NIPS 2016上的演讲(附PPT)

P4-5. 在带有能量函数的变量之间扑捉相关性(dependencies)

P6. 学习该能量函数

P7-9. 塑造能量函数的 7 个策略

P10-22 对抗训练。

难点是在不确定的情况下预测。

基于能量的无监督学习

对抗训练:一个可训练的目标函数

基于能量的 GAN。

EBGAN 损失函数

EBGAN 的解决方法是纳什均衡

ENGAN 中的 D 是一个梯形网络

  

【j2开奖】资源 | Bengio和LeCun在NIPS 2016上的演讲(附PPT)

  基于能量的 EBGAN 在 128×128 像素的 ImagNet 上训练的结果。

  

【j2开奖】资源 | Bengio和LeCun在NIPS 2016上的演讲(附PPT)

基于能量的 EBGAN 在 256×256 像素的 ImagNet 上训练的结果。

  

【j2开奖】资源 | Bengio和LeCun在NIPS 2016上的演讲(附PPT)

P23-34 视频预测(经过对抗训练)

用于视频预测的多尺度卷积网络

不能使用平方误差:模糊预测

预测的无监督学习

【j2开奖】资源 | Bengio和LeCun在NIPS 2016上的演讲(附PPT)

视频预测:预测 5 帧的结果图

  

【j2开奖】资源 | Bengio和LeCun在NIPS 2016上的演讲(附PPT)

  视频预测:预测 50 帧的结果图

P35-P43 风格迁移

风格迁移架构

  

【j2开奖】资源 | Bengio和LeCun在NIPS 2016上的演讲(附PPT)

风格迁移结果

【j2开奖】资源 | Bengio和LeCun在NIPS 2016上的演讲(附PPT)

  风格迁移:风格插补(interpolation)

点击阅读原文下载PPT

©本文为机器之心整理,转载请联系本公众号获得授权

  ?------------------------------------------------

加入机器之心(全职记者/实习生):[email protected]

投稿或寻求报道:[email protected]

广告&商务合作:[email protected]

(责任编辑:本港台直播)
顶一下
(0)
0%
踩一下
(0)
0%
------分隔线----------------------------
栏目列表
推荐内容