人工智能研究的风向已经向基于神经网络的机器学习系统转变，通过分析大量的训练数据，学习如何执行任务。
在训练期间，神经网络不断重新调整数千个内部参数，直到它可靠地执行一些任务。例如识别数字图像中的对象或将文本从一种语言翻译成另一种语言。
但是，至于这些训练参数的最终值是如何影响神经网络建设的，却很少有人对外阐述。
╲新通用技术的提出╲
就在本周开始的年自然语言处理实践方法大会上，麻省理工学院计算机科学与人工智能实验室的研究人员提出了一种新的通用技术，通过普通或自然语言编写的自由格式的文本，对经过训练的神经网络进行自然语言处理计算机尝试解释。
该技术适用于将文本作为输入并产生字符串作为输出的任何系统，如自动翻译器。由于其分析结果来自不同的输入端并且会检查对产出的影响，所以它可以在线进行自然语言处理服务工作，而无需访问底层软件。
事实上，该技术可以与任何黑箱文本处理系统一起使用，无论其内部机器如何运作。在他们的实验中，研究人员表明该技术也可以在人类翻译工作中提高识别率。
╲主题和变化╲
该技术已经用于分析被训练来执行计算机视觉任务的神经网络，例如对象识别。
系统地改变图像不同部分，并将图像重新提交到对象识别器，可以识别哪些图像特征从而识别哪些分类。但是，将这种方法适应自然语言处理并不简单。
麻省理工学院电子工程与计算机科学系的ThomasSiebel教授和新的两位作者之一TommiJaakkola表示：这甚至意味着扰乱句子，我不能只是做一个简单的随机化。
而你所预测的是一个比较复杂的对象，比如一句话，那么给出解释是什么意思呢？
╲黑盒神经网络的测试╲
麻省理工学院电气工程与计算机科学研究生Jaakkola和DavidAlvarez-Melis为新黑板神经网络提供了一个测试句子，这个新的论文第一作者使用黑盒神经网络。
他们首先训练一个网络来压缩和解压缩自然句子-创建一些中间的、紧凑的数字表示的句子，然后尝试将其重新扩展成其原始形式。在训练期间，编码器和解码器同时进行评估，根据解码器的输出忠实于编码器的输入。
神经网络本质上是概率的：例如，喂养小狗图像的对象识别系统可能会得出结论，该图像具有表示狗的概率为70％，表示猫的概率为25％。
类似地，Jaakkola和Alvarez-Melis的句子压缩网络为解码语句中的每个单词提供了替代方案，以及每种替代方案的正确性。因为网络自然地使用字的共现来增加其解码精度，其输出概率定义了一组语义相关的句子。
例如，如果编码的句子是“她惊讶的喘不过气来”，系统可能会理解为“她惊讶的尖叫声”或“她惊恐地喘不过气”的替代方案分配为相当高的概率，会将更低的概率赋予“她游泳惊奇”或“她喘气的咖啡”这样的语句。
对于任何句子，系统可以生成一个密切相关的句子，Jaakkola和Alvarez-Melis将其添加到黑盒自然语言处理器中，结果是输入输出对的长列表，研究人员的算法可以分析哪些输入决定哪些变化导致哪些输出变化。
转载请注明：http://www.0431gb208.com/sjszyzl/3521.html
