基于聚类结果,搭建条件性知识库。在得到条件性知识库后,用户输入一个问题,我们的系统首先会检测用户问题是否缺少条件,如果缺少就反问用户并让用户补全条件,最后系统返回正确的答案。
除了获奖的三篇最佳论文,大会上还有很多质量高的报告,尤为印象深刻的便是Deep Learning Application Session,整个报告厅座无虚席,会场后面很多站立的听众也是兴致勃勃。在这个Session中总共讲了四篇论文,分别为: “LICON: A Linear Weighting Scheme for the Contribution of Input Variables in Deep Artificial Neural Networks” “A Deep Relevance Matching Model for Ad-hoc Retrieval” “A Neural Network Approach to Quote Recommendation in Writings” “Retweet Prediction with Attention-based Deep Neural Network” 下面我们简单分析一下第二篇关于信息检索的论文。 “A Deep Relevance Matching Model for Ad-hoc Retrieval” 文中提出一种新的深度网络模型(DRMM)来解决Ad-hoc信息检索任务,计算query和文档(document)的相关度在信息检索中非常重要。该文对比了在计算相关度中有用到的两种深度网络结构:Representation-focused模型和Interaction-focused模型。Representation-focused模型中具有代表意义的模型有DSSM、 CDSSM以及ARC-I;Interaction-focused模型中具有代表意义的模型有ARC-II。该论文是在Interaction-focused模型基础之上进行修改,得到一个新的网络模型DRMM。之前的基于Interaction-focused的模型保留了位置信息,比如ARC-II中生成的交互矩阵,然后在此之上构建前向网络。但是在实际情况中,query中的词和文档中的词不具有位置上的对应关系。基于此,该文提出的DRMM是基于值的大小对matrix中的单元重新分类(即该文中所提到的直方图)。该文首先用query中的每个单词和文档的每个单词构建成为一个词对(word pair),再基于词向量,将一个词对映射到一个局部交互空间(local interactions,该文用了余弦相似度)。然后将每一个局部交互空间映射到长度固定的匹配直方图中。引用文中的例子,将相似度[-1, 1]分为五个区间{[-1,-0.5), [-0.5,-0), [0,0.5), [0.5,1), [1,1]} 。给定query中的一个词“car”以及一篇文档(car, rent, truck, bump, injunction, runway), 得到对应的局部交互空间为(1, 0.2, 0.7, 0.3, -0.1, 0.1),最后我们用基于计数的直方图方法得到的直方图为[0,1, 3, 1, 1]。对于每一个query的词得到一个直方图分布后,在此之上构建一个前向匹配网络并且产生query和文档的匹配分值,最后在将query中所有词合并的时候加入gating参数(比较类似于attention机制),整个框架图以及实验结果如下图所示。研究信息检索的读者可以仔细阅读一下全文。
另外Question Answering Session中也有两篇高质量的论文,一篇即为获奖论文(医疗问答),下面简单介绍一下另一篇。 “aNMM: Ranking Short Answer Texts with Attention-Based Neural Matching Model” 文中提出了一种新的attention机制的神经网络模型aNMM来对答案进行排序。在aNMM模型中,主要引入了两个创新:1)使用值共享权重(value-shared weights)代替卷积网络中的位置共享权重(position-shared weights); 2) 在最后的全连接层中使用attention机制来给问题中不同单词进行加权,不太重要的词权重会很小,重要的词权重会很大。该文的value-shared weight方法和上一篇信息检索论文的原理上一致,均认为position-based的方法不太适合QA或者IR。不同之处为上一篇文章引入了直方图,而该文直接对普通CNN的卷积模板进行改造,词对的值在同一区间的权重共享,同时该文给出了aNMM的两个变种模型,一是aNMM-1, 二是aNMM-2。aNMM-1只是用了一组共享权重,而aNMM-2使用多组共享权重,整个框架图以及实验结果如下图所示。研究自动问答的读者可以仔细阅读一下全文。
Better Search Session中有一篇文章值得留意: “Learning Latent Vector Spaces for Product Search” (责任编辑:本港台直播) |