诺亚神经响应机NRM模型：深度学习改变自然语言对话

图灵测试是人工智能的梦想，它所要完成的任务是机器智能判定实验，即让机器和人能够通过自然语言对话来沟通。这项长期困扰研究人员的工作，因为深度学习的引入，有了新的进展，这里要说的是华为诺亚方舟实验室（下文简称“诺亚”）的“神经响应机”（Neural Responding Machine，NRM）。

在今年7月的ACL会议上，诺亚的研究人将发表一篇论文【1】，提出一种新的完全基于神经网络的对话模型“神经响应机”（Neural Responding Machine，NRM），用于人机之间的单轮对话（single-turn dialog）。诺亚从2013年开始将深度学习引入自然语言对话中，在短文本对话领域已有一系列的工作【2】【3】【4】。前述论文【1】也已经于今年3月初在arXiv上公布，那也是NRM概念首次面世。

诺亚研究人员介绍，对用户说的话，NRM用一种混合机制来进行表示，从而既对文本有整体的把握，又充分保留了句子的细节信息。在对输入问题的表示的基础上，NRM采用了递归神经网络（Recurrent Neural Network）来逐字的生成自然语言的句子作为回复。NRM从五百万个对中学习人的回复，这些学到的模式存于系统的近四百万参数中。因为NRM中部分采用了attention的机制，可以相对容易掌握比较复杂的模式，如：

人: 你好，我是利锋。
NRM: 利锋你好！

当然，NRM以及随后出现的类似模型，如Google的Neural Conversational Model（NCM）【5】（ 诺亚模型的参数远少于Google模型，但二者在自然语言对话应用前景的优劣还有待研究）, 还停留在对复杂语言模式记忆和组合上，尚无法在对话中使用外界的知识。例如，在对“看了昨晚恒大的比赛了吗？”这样的句子，无法给出真实的状况（例如昨晚恒大比赛的结果）相关的回复。

回顾此前的近几十年，研究人员不懈努力而生成的对话系统（dialogue model），大都是基于规则和模板, 或者是在一个较大的对话数据库中进行搜索。这种两种方式并非真正的产生对话，又缺乏对语言的有效理解和表示。囿于模板/例子的数量和表示的局限性，这些方式在准确性和灵活性上都存在一定的不足，很难兼顾语言的自然通顺和内容的适当切题，效果与引入深度学习的模型不可同日而语。

所以，NRM模型的提出，无疑带来了更多的可能性和想象空间。事实上，诺亚已经以此为基础展开深度学习在对话方面的深入研究，包括多轮对话（multi-turn dialog），与强化学习（reinforcement learning）结合的对话管理，以及在对话中引入知识（knowledge）等。

参考文献

【1】L. Shang, Z. Lu, and H. Li. Neural Responding Machine for Short-text Conversation. In Proceedings of ACL,2015.

【2】 H. Wang, Z. Lu, H. Li, E. Chen. A Dataset for Research on Short-text Conversations. In Proceedings of EMNLP, 2013

【3】 Z. Ji, Z. Lu, H. Li. An information Retrieval Approach to Short-text Conversation. arXiv: 1408.6988, 2014.

【4】 B. Hu, Z. Lu, H. Li, Q. Chen. Convolutional Neural Network Architectures for Matching Natural Language Sentences. In Advances of NIPS, 2014

【5】 O. Vinyals, and Q. V. Le. A Neural Conversational Model. arXiv: 1506.05869，2015

【预告】 2015中国人工智能大会（CCAI 2015）将于7月26-27日在北京友谊宾馆召开。机器学习与模式识别、大数据的机遇与挑战、人工智能与认知科学、智能机器人四个主题专家云集。人工智能产品库将同步上线，预约咨询：QQ：1192936057。欢迎关注。