大数据文摘出品编译：李可、瑞清、李阳阳、钱天培年以来，基于机器学习（尤其是深度学习）的预测算法在一些领域取得了极大的成功，比如说图像识别和机器翻译。而我们把这些算法都称作是人工智能（AI）。不过，深度学习成为这些领域的主流并不是一蹴而就的。在人工智能纷繁的历史中，联结主义（神经网络就属于联结主义）长时间被符号主义所排斥。这篇论文通过符号主义和联结主义之间的斗争，回溯了人工智能的历史，以及最近深度学习的出现。在这篇被YanLeCun等多位大咖推荐的法语文章中，我们将看到，联结主义的科研者们是如何使用大量的数据和强大的算力，一步步用控制论时代的自适应推断机，并主导了符号主义提出的人工智能项目。大数据文摘将全文翻译如下，enjoy。年10月ECCV会议中的一幕将成为计算机发展史上的一个传奇。ECCV几乎汇集了计算机视觉领域的所有优秀的研究人员。“所以在年ECCV组织的比赛中，谁赢了？”是Hinton，神经网络之父！他给计算机视觉领域带来了一场地震——他和他的学生提供的系统将传统的方法打的一败涂地，而之前他甚至在该领域鲜有研究。他的学生AlexKrizhevsky提出的AlexNet类似于一个黑箱，Alex对这个黑箱说：“你给我好好训练，等可以得到好的结果了，就结束吧。”当时他们使用带有GPU的机器进行训练。但是和现在相比，机器的算力还是很有限的，但他们通过一些技巧使GPU之间的通信变得高效，并控制了通信的性能损耗。这绝对是一个疯狂的机器，否则它永远不会成功。那个时候，计算机视觉领域的研究人员都在为ImageNet这个数据集感到兴奋。这个数据集有万张带标签的图片，共有多个类别，是衡量比较不同的模型的基准。第一名的错误率是27.3%，第二名是27.18%，第三名是27.68%。而Hinton他们使用了AlexNet：“我们跑的模型很深，我们的错误率是17%”，这个错误率比之前最优模型减少了10%。Alex这个穿黄衣服的极客，他做到了！他宣布结果，房间里的所有人都震惊了。他也不能解释为什么要使用这样的技巧，他只是造了一个黑箱，然后让它自己训练，而他甚至对这个领域一无所知。在那里，他对面是李飞飞，而YannLeCun坐在房间里面，正站起来准备回答问题。（李飞飞是计算机教授，斯坦福SAIL实验室的负责人。YannLeCun现在是FacebookFAIR实验室的负责人，同时也是神经网络的奠基人之一。）计算机视觉领域的人试图反驳“这样做是不行的，物体识别不能用这种方式来做……”这些技术最终都落地了，这大概是因为它们默默的发展了十年然后厚积薄发吧。很多人想探究这类方法取得这么好结果的深层原因。深度学习可以看作一个黑箱，它有很深的结构，一亿个参数。它通过大量的数据进行训练，然后震惊了整个计算机视觉领域。“如果输入的图片有一些扰动，你的模型还能给出一样的结果吗？”，有人问。Alex自己也无法回答这个问题。还是LeCun作出了回答：“这个模型能处理这个问题，是因为……”。LeCun非常高兴，李飞飞问他“Yann，这个模型和你在80年代发明的模型有根本上的不同吗”，Yann回答说：“不，它们完全一样，并且它赢得了所有的比赛。”深度学习在图像分类任务的成功改变了其相关技术在科学社区长期边缘化的境况。在这个令人吃惊的结果后面，是对这个新方法有效性的质疑，对传统方法未来的担忧，对这个新闯入者理论知识缺乏的嘲笑，对新方法带来的改变的疑惑……自年以来，神经网络对计算机领域产生了深刻的影响，比如说：信号处理，语音处理，自然语言处理。这个新的方法可以直接把原始数据作为输入，而不需要人工提取特征。它还可以通过大量的数据来优化模型，产生令人瞩目的结果。图1简单展示了这个转变：由假设演绎模型变成了归纳模型。计算过程，程序，模型的规则，在旧的系统中需要人工设置，而在这个新的系统中它们则成了学习的目标。图1就展示了这种转变。符号主义vs联结主义神经网络在年的ECCV取得了巨大的成功，但它并不是什么新东西。利用强大的算力，以及大量的数据，现在已经可以满足控制论的一些要求。只是最近用于描述这些技术的术语是人工智能（AI）。JohnMcCarthy于年提出了人工智能这一概念。目前在机器学习领域，尤其是深度学习领域，预测算法正在取得重大进展，但把这些技术归于人工智能并不严谨。在历史上，神经网络（以前叫联结主义）长时间被符号主义所鄙视。这两种方法之间的紧张关系在人工智能刚诞生并与控制论划清界限时就开始了。符号主义的学派以认知主义为基础构成了AI的初步框架：认知就是通过对有意义的表示符号进行推导计算。然而，联结主义认为认知可以看作大规模并行计算，这些计算在类似于人脑的神经网络中进行，这些神经元集体协作并相互作用（Andler，）。这两种思想下造出的“智能”机器区别是巨大的。今天我们正在目睹科技史的一个伟大的逆转：之前在人工智能领域被边缘化的联结主义重新回归。就像MichaelJordan()讽刺的那样：“维纳提出的方法却披着McCarthy发明的术语的外衣”。维纳提出了控制论，我们现在使用的神经网络就可以看作控制论，而人工智能（AI）这个术语是McCarthy发明的。为了讲清楚这些互相交叉的理论方法，首先我们可以根据WebofScience（WoS）收集的出版物数据来进行统计。观察提到“人工智能”，“符号主义”，“联结主义”文章作者的共引网络就够了。我们可以在图2中看到我们将在本文中将提到的主要人物的名字，他们已经根据不同的科学社区进行了区分。在联结主义社区的中心是Rumelhart,LeCun和Hinton。他们是深度学习的奠基者。他们周围也有很多其他研究人员(Holland,Hopfield),还有一些人为传统的机器学习方法作出了极大贡献，如Breiman,Mitchell和Vapnik。在符号主义那边，核心人物如McCarthy,Minsky,SimonetNewell可以看作AI的创立者。他们周围也围绕着一群人，如Dreyfus,Searle,Brooks，他们为认知模型、专家系统等等做出了重要贡献。图3如果我们看从年到年出版的AI论文，联结主义和符号主义之间的斗争似乎更加直观。在图3中，我们看到了最初联结主义和控制论的诞生。然后，从20世纪60年代初开始，符号主义主导和定义了人工智能。最后，直到20世纪90年代中期，在人工智能的第二个寒冬之后，联结主义开始使用深度学习的名头在科学出版物中占据主导地位。为了对人工智能系统有个整体的认识，我们引入三个词语，世界（monde），计算器（calculateur），以及视野（horizon）。这些词在不同的情况下有不同的含义：世界可以是：环境／输入／数据／知识数据，计算器可以是：计算／程序／模型／代理（agent），视野可以是：目标函数／结果／输出。我们讲，这个预测系统安装了一个计算器来根据世界计算一个视野。在AI的历史中，世界，计算器，和视野的实体一直不停的变化。对这三部分的架构，研究人员还提出了种种截然不同的方式。AI从符号主义转向联结主义并不是突然发生的结果，也不是说一种比另一种更有效。这个转变过程是不同方法和科学社区之间的重新组合与竞争。这也影响了计算技术，所需要处理的数据格式，目标，以及需要解决的问题(Latour,)。现在我们稍微总结一下这些概念：符号主义的研究人员尝试着人工设计计算器，世界，和视野。而联结主义的研究人员则相反，他们尝试把计算器清空了，让世界来自己得出它的视野。控制论和最开始的联结主义神经网络起源于早期的计算机以及控制论，虽然最开始它并不是叫这个名字，我们叫它联结主义。神经网络这个词由神经学家WarrenMcCulloch和逻辑学家WalterPitts在年提出，最初含义是指给人脑的神经网络进行数学建模。那篇文章一直被深度学习的文章引用至今，甚至可以看作联结主义的起源。从图3我们可以清楚的看到，在控制论的早期阶段，联结主义一直占据着主导地位。那篇文章所描述的是：神经元接受不同的输入，然后会计算出一个加权和。如果这个加权和超过一个阈值，会激发这个神经元。当时这个概念并没有和人工智能联系起来，“人工智能”这个词语还不存在。直到年神经学家DonaldO.Hebb才把神经网络和机器学习联系起来。他发现神经元之间通过突触信息被激活可以看作一个学习过程。受此影响，神经网络模型变成了控制论的一个重点，并成了第一台“智能”机器的计算器的核心（Dupuy,）。世界和计算器之间的耦合这类系统的特点在于它们与环境（世界）之间紧密耦合，以至于没有必要为它们的计算器配备特别的部分。控制论提议直接弄一个简单的黑箱，将这个黑箱的学习与视野联系起来，通过测量世界和机器行为的误差来调节黑箱里的参数。这种机器智能行为主要基于信息，而不同于人工智能诞生时用的符号主义（Triclot，）。这个信息所指的是编码之前的信号。根据Shannon的信息论，信息被视为一种纯粹的形式，它表示“事物中的有序程度或结构”（Triclot，）。然后，控制论将其计算的视野定义为对世界的输入和输出的比较。在NorbertWiener的防空导弹制导系统里，预测装置的训练过程就是通过比较目标有效轨迹与上一步的预测轨迹之间的区别，然后不断更新系统。这个设备可以根据给定的数据对计算器进行更新，然后收敛到最佳的结果。负反馈系统（将输出误差变为自适应系统的新的输入）就变成了控制论的主要部分。这也参考了当时的行为心理学（Skinner，），参考了生物器官的一些行为，机器可以根据环境信号来进行自适应，而不需要在内部给它设置一些规则，总之智能需要有自我学习能力。ArturoRosenblueth,NorbertWiener和JulianBigelow在年定义了控制论的基本原理，他们想象一个能够自我纠错的机器，通过概率的方法根据目标以及所犯的错误对结果进行修正，这就是一个自适应的过程。以严格的“消除主义”思想，控制论里的系统可以没有意图，计划，或推理的概念（Galison，）。RossAshby(,p.)把系统的计算器部分描述是一个黑箱，控制论里的预测系统的配置与世界和计算器紧密相关，它的视野是系统对自己的自适应优化。20世纪50年代的控制论系统（Homeostat，Adaline等）由于算力限制，只能算是实验室里的一个玩具，但现在随着算力的提高以及更多的数据，深度学习可以更有效地配置训练这个黑箱。感知机和联结主义系统McCulloch和Pitts提出的神经网络给计算机视觉领域提供了一种特别适合的解决方案，用计算机配备这些原始的自适应机器。在20世纪50年代后期，神经网络经历了一次重大的发展，进入了一个类脑机器计划。联结主义受到了很多其它工作的启发，包括BernardWidrow的Adaline，斯坦福大学CharlesRosen的Shakey，Pandemonium,OliverSelfridge的混合系统（）。康奈尔大学的心理学家和计算机学家FrankRosenblatt提出的感知机可以算是一个真正的联结主义系统，并且成为了计算器产生智能行为的标志。这种用于图像识别的系统受到了很多
转载请注明：http://www.0431gb208.com/sjszyzl/7894.html
