译者：AI研习社（Key）
双语原文链接：ComputeGoesBrrr:RevisitingSutton’sBitterLessonforArtificialIntelligence
回顾理查德·萨顿关于AI的惨痛教训
就在不久前的过去，在一个与我们今天相差无几的世界上，在达特茅斯学院，有这样一个雄心勃勃的项目，志在弥合人类与机器智能之间的鸿沟。那是年。虽然达特茅斯夏季人工智能研究项目并不是第一个对思考机器的潜力提出设想的研究项目，但它的确为这个领域取了一个公认的名字（“人工智能”），并建立了由具有影响力的研究者们所组成的一座“万神殿”。在约翰·麦卡锡、马文·闵斯基、克劳德·香农与纳撒尼尔·罗切斯特共同撰写的提案中，作者们的目标虽然仍不成熟，但他们的雄心壮志，即使今天看来也足够奇妙有趣。
（我们）将致力于探索如何让机器使用语言，形成归纳和概念，解决现在只有人类可以涉足的各种问题，并进行自我改良。我们认为，如果一个经过精心挑选的科学家团队在一起工作一个夏天，就可以在其中的一个或多个问题上取得重大进展。——《达特茅斯夏季人工智能研究项目提案》，年
最初的人工智能
从那时起到现在，关于人工智能的研究，经历过车水马龙的盛况，也不乏门可罗雀的冷落。在年，盛行的方法包括元胞自动机、控制论（cybernetics）、信息论。随着时间的流逝，专家系统、形式推理、连接主义等方法也轮番亮相，各领风骚。
今日，AI的复兴源于连接主义一脉相承的最新成果——深度学习。尽管一些新思想的确也在这个领域造成了相当大的冲击（仅举几例：注意力机制、残差连接、批量归一化），大部分关于建立和训练深度神经网络的思想，早在上世纪八九十年代就已经被提出。然而今天，AI与AI相关的技术所扮演的角色，却并不是任何在之前的“AI之春”中活跃的研究者所想象的那个样子。例如，几乎没有人能预见到，广告科技（adtech）和算法驱动的新闻供稿的盛行与社会反响。我也很确信，他们中的很多人会为今天的社会如此缺少仿真机器人而感到失望。
约翰·麦卡锡，达特茅斯提案的共同作者，以及“人工智能”一词的发明者。图源
约翰·麦卡锡曾经抱怨过，落实到现实世界的AI技术，总是会变得不那么吸引人，并会逐渐失去“AI”的名字。不过，这并非我们今天所见的现象——也许我们要归咎于风险投资和政府基金，因为是它们鼓励大家去做了截然相反的事情。伦敦风险投资公司MMC的一份调查显示，在年的欧洲，高达40%自称的AI创业公司实际上并不将AI作为它们业务的核心构成部分。
深度学习与AI研究之间的区别
深度学习时代与之前那些AI研究的那些暖春期之间的区别，似乎可以被归结为摩尔定律的S形曲线。许多人将“ImageNet时刻”视为今天AI/ML复兴的起点——一个名叫AlexNet的模型，以压倒性优势赢得了年ImageNet大规模视觉识别挑战赛（ILSVRC）。AlexNet的结构，与在它20多年前就被提出的LeNet-5并没有很大的差别。
拥有5个卷积层的AlexNet，比拥有3个的LeNet要稍大一些。它总共有8层，而LeNet有7层（其中2层是池化层）。而其中的重大突破，则在于图形处理单元（GPU）以并行处理的方式实现最基础的神经网络运算（卷积与矩阵乘法），以及由李飞飞和她在斯坦福大学的实验室所整理的、兼具规模和质量的ImageNet数据集。
硬件加速的惨痛教训
硬件加速的存在，在今天的深度学习从业者看来已经是理所当然。它是诸如Pytorch、TensorFlow、JAX等热门深度学习库不可缺少的部分。深度学习研究者队伍的壮大，和面向AI/ML的商业需求的日益增长，构建了一个协同反馈的循环，从而推动了良好的硬件支持的形成。而当基于FPGA、ASIC甚至是光子或量子芯片的新型硬件加速器逐渐为人们所用，各类热门学习库的软件支持也自然紧随其后。
ML硬件加速器与其赋予AI研究的更多算力所带来的冲击，被理查德·萨顿简洁地概括在了一篇相（臭）当（名）出（昭）名（著）的短文《惨痛的教训》中。文中，萨顿——这位曾（共同）撰写过强化学习的教科书的人物——却声称AI研究者们所付出的所有勤奋努力和聪明才华，对于整个大框架几乎没有起到任何推动作用。根据萨顿的说法，当前AI进步的主要驱动者，是日益提升的算力被用于实现我们既有的简单的学习和搜索算法的结果，而其中包含的硬编码的人类知识只是所需的最低水平。而萨顿认为，基于AI的方法应该是尽可能普适的方法，诸如无约束搜索和学习。
不出所料地，许多研究者都对萨顿所说的这个教训有着截然不同的观点。毕竟，他们中的许多人都将毕生心血投入到关于AI的各种技巧和理论基础的研究上，以期推动AI发展的进程。许多AI研究者并不局限于探索如何达到最先进的指标，而是希望学习所谓智能的本质，或更抽象地说，人类在整个宇宙中所扮演的角色。萨顿的表述似乎在支持这样一个令人失望的结论，即：对理论神经科学、数学、认知心理学等学科的探索，对于推动AI的发展是毫无帮助的。
来自gwern.net的一张梗图。以及另一张。
关于“惨痛教训”的多方质疑
对萨顿的这篇短文，值得
转载请注明：http://www.0431gb208.com/sjszlff/4882.html
