本港台开奖现场直播 j2开奖直播报码现场
当前位置: 新闻频道 > IT新闻 >

码报:【图】【Hinton与Jeff Dean最新研究】 凶残的大型神经网络:稀疏门 Mixture

时间:2017-01-02 19:24来源:报码现场 作者:118KJ 点击:
:COO、执行总编、主编、高级编译、主笔、运营总监、客户经理、咨询总监、行政助理等 9 大岗位全面开放。 简历投递:j [email protected] HR 微信: 13552313024 新智元为COO和执行总编提供

  :COO、执行总编、主编、高级编译、主笔、运营总监、客户经理、咨询总监、行政助理等 9 大岗位全面开放。

  简历投递:j[email protected]

  HR 微信:13552313024

  新智元为COO和执行总编提供最高超百万的年薪激励;为骨干员工提供最完整的培训体系、高于业界平均水平的工资和金。

  加盟新智元,与人工智能业界领袖携手改变世界。

  【新智元导读】 谷歌大脑团队 Jeff Dean 和 Hinton 最近在arXiv 上发表论文,介绍了最新研究成果。他们提出了一种新型经网络层——稀疏门(Sparsely)MOE (Mixture-of-Experts),这种新的经网络层只需要很小的计算能力提升,便能高效地提升模型的能力。据介绍,研究使用4.3亿参数,每个词超过1亿次计算量,32块K40 GPU跑了47小时。

  【论文摘要】神经网络吸收信息的能力通常会受到参数数量的限制,在本研究中,j2直播,我们提出了一种新的(神经网络层)——稀疏门(Sparsely)MOE (Mixture-of-Experts),这种新的神经网络层只需要很小的计算能力提升,便能高效地提升模型的能力。

  这一神经网络层由数千个前馈次级网络(也就是Experts)组成,其中包含了总共多达10亿的参数。一个可训练的门网络决定了这些Experts的组合形式和在具体例子中的使用情况。我们把MoE用于语言建模任务,在这些任务中,对于在训练库中吸收大量的可用词汇知识,模型的能力非常关键。我们提出了新的语言模型架构,在这种架构中,MoE层被加入到LSTMs堆栈中间去,结果,模型中的可用的参数数量有了量级的提升。

  在语言建模和机器翻译基准中,我们用较低的计算陈本,获得了比当下最好的水平更好的结果,其中包括,在10 亿词汇语言建模基准(1 Billion Word Language Modeling Benchmark )中测试复杂度达到28.0,以及,在BLEU 中得分40.56,在WMT’14 En to Fr and En to De 数据库中得分26.03。

  【论文题目】Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer

  凶残的大型神经网络:稀疏门Mixture-of-Experts层

  作者:Noam Shazeer, Azalia Mirhoseini, Krzysztof Maziarz , Andy Davis1

  , Quoc Le, Geoffrey Hinton and Jeff Dean

  

码报:【图】【Hinton与Jeff Dean最新研究】 凶残的大型神经网络:稀疏门 Mixture

  论文下载地址:https://openreview.net/pdf?id=B1ckMDqlg

新智元招聘

  职位 运营总监

  职位年薪:36- 50万(工资+金)

  工作地点:北京-海淀区

  所属部门:运营部

  汇报对象:COO

  下属人数:2人

  年龄要求:25 岁 至 35 岁

  性别要求:不限

  工作年限:3 年以上

  语 言:英语6级(海外留学背景优先)

  职位描述

负责大型会展赞助商及参展商拓展、挖掘潜在客户等工作,人工智能及机器人产业方向

擅长开拓市场,并与潜在客户建立良好的人际关系

深度了解人工智能及机器人产业及相关市场状况,随时掌握市场动态

主动协调部门之间项目合作,组织好跨部门间的合作,具备良好的影响力

带领团队完成营业额目标,并监控管理项目状况

负责公司平台运营方面的战略计划、合作计划的制定与实施

  岗位要求

大学本科以上学历,硕士优先,atv,要求有较高英语沟通能力

3年以上商务拓展经验,有团队管理经验,熟悉商务部门整体管理工作

对传统全案公关、传统整合传播整体方案、策略性整体方案有深邃见解

具有敏锐的市场洞察力和精确的客户分析能力、较强的团队统筹管理能力

(责任编辑:本港台直播)
顶一下
(0)
0%
踩一下
(0)
0%
------分隔线----------------------------
栏目列表
推荐内容