本港台开奖现场直播 j2开奖直播报码现场
当前位置: 新闻频道 > IT新闻 >

wzatv:【NIPS 2017】Bengio 联合大牛发起对话智能挑战赛

时间:2017-04-30 02:50来源:118图库 作者:118开奖 点击:
新智元启动 2017 最新一轮大招聘: 。 新智元为COO和执行总编提供最高超百万的年薪激励;为骨干员工提供最完整的培训体系、 高于业界平均水平的工资和奖金。 加盟新智元,与人工

  元启动 2017 最新一轮大招聘:

  元为COO和执行总编提供最高超百万的年薪激励;为骨干员工提供最完整的培训体系、高于业界平均水平的工资和金。加盟新智元,与人工智能业界领袖携手改变世界。

  简历投递:j[email protected] HR 微信:13552313024

  新智元导读NIPS 2017 发起对话智能公开挑战赛,组织者包括 Yoshua Bengio 等7人。挑战赛内容是创建一个可以与人类伙伴进行智能的对话的 chatbot,且所有评估后的对话将创建成开源数据集。本文介绍了挑战赛具体内容和时间。这会不会成为语音领域的“ImageNet”?期待中国学者的表现。

  对话系统和会话代理(包括聊天机器人,个人助理和语音控制接口)在我们的日常生活中越来越普及。NIPS正在发起一场对话智能公开挑战赛,内容是创建一个可以与人类伙伴进行智能的对话的聊天机器人(chatbot)。

  参与

  可以组成团队参赛,也可注册作为“人类评估志愿者”参加。

  挑战赛概览

  机器学习最近的进展重新引发了研究界对对话系统的兴趣。对话系统的交互能力不仅在现实世界出现越来越多的应用,也与 AI 的总体目标密切相关。这项 NIPS 竞赛旨在联合社区进行一项具有挑战性的任务:创建能够进行智能的对话的系统。参赛队伍需要提交一个对话系统,该系统能够与人类就特定新闻事件进行智能的、使用自然语言的对话。在竞赛的最后阶段,参赛队伍和人类志愿者将随机匹配,一个bot和一个人类进行聊天,并评估对话质量。我们希望这项竞赛能带来两个主要的成果:(1)对state-of-the-art的对话系统提出一个衡量其性能的标准;(2)利用被评估的对话创建一个开源数据集。

  时间安排

April, 2017开放注册。注册队伍可以为资格认证轮提交解决方案。

18th of June, 2017资格认证结束。

24th-30th of July, 2017 第一个数据集发布。公开人类评估报告收集的数据。队伍可以在第一个数据集上调整解决方案。

12th of November, 2017关闭提交会话代理通道。参赛队伍为 NIPS Live Competition 提交最终解决方案

20th of November - 3rd of December, 2017Pre-NIPS人类评估。参赛队伍和志愿者开始评估各队伍的解决方案,通过消息平台远程进行。

4th-9th of December, 2017NIPS对话智能直播挑战赛。参赛队伍,大会参与者和志愿者继续评估参赛队伍的解决方案。获者宣布。

  竞赛规则

  本挑战赛包含4轮

第1轮:资格认证。注册为参赛者需要提交一份申请,atv,包含两部分内容:(1)描述方法细节和工作描述的提案,包括大事记,参考来源和其他相关信息(最多1页,参考页数不限),另外还需提供系统架构和相关的技术信息(最多2页);(2)参考链接到在SQuAD或MS MARCO排行榜上的提交,或链接你的chatbot以便测试。提交结果于2017年6月18日截止,2017年6月25日前通知。

第2轮:人类评估轮。入选队伍成员将被邀请参加一个为期一周的 NLP 暑期学校研讨会,需要就各自的研究进行演讲。可以现场参加或远程参加。在这周里,队伍成员,暑期学校参加者,以及志愿者将对竞赛任务中提交的对话系统进行评估。在本轮结束后,为 NIPS 直播比赛选出最多10支队伍。每队必须在本轮比赛评估至少150场对话。评估通过消息平台远程进行。

第3轮:调整(turning)。在人类评估轮期间收集的评估对话数据集是开源的,参赛队伍可以使用这些数据集来调整他们的解决方案。

第4轮:NIPS 回合。在 NIPS 大会开始两周前,参赛队伍以及志愿者开始对提交的对话系统进行评估。NIPS开幕后,大会参与者将被邀请自愿评估在第3轮调整后的解决方案。最终评分在 NIPS 大会上发表。

  任务

  人类评估志愿者和对话机器人都需完成以下任务:

随机连接一个伙伴(peer)。伙伴可以是 chatbot 也可以是其他人类,伙伴的信息不会提供。

双方将得到有关最近的新闻的文章/维基百科文章。

与伙伴讨论文章的内容,时间长度自定。

选择另一篇新闻/维基百科文章和/或另一个伙伴。

  评估

评估者不会得到有关伙伴(peer)身份的任何信息;

队伍成员将彼此自动排除对自己提交系统的评估;

每个回答(response)的评分在1到10的范围内;

整个对话的质量以广度和参与度评估,范围在0到10分;

最终评委是挑战赛期间每一轮评估的平均值。

  技术架构

参赛者需以支持通用接口(API)的可执行文件或源代形式提供解决方案。

这些解决方案将在隔离的虚拟环境(容器)中运行。

这些解决方案将无法访问任何外部服务或互联网,只能与 supervisor bot 沟通,以防止作弊。

(责任编辑:本港台直播)

顶一下
(0)
0%
踩一下
(0)
0%
------分隔线----------------------------
栏目列表
推荐内容