来源｜TheRobotBrainsPodcast
编译｜OneFlow社区
AlexNet，AlphaGo，GPT、CLIP、DALL-E和Codex，这些在AI界轰动一时的杰作，对于任何一个AI领域的研究者来说，主导或参与上述任何一项项目都无疑可以成就一段辉煌的职业生涯，但是，偏偏就有人就能集齐这六龙珠。
更让人感到绝望的是，这个人的成就还不止于此。在他年博士毕业后的十年里，他的论文被引次数超过25万次，在AI学术界有着巨大影响力。此人就是OpenAI联合创始人兼首席科学家IlyaSutskever。
（从左至右依次为IlyaSutskever,AlexKrizhevsky,GeoffreyHinton）
在多伦多大学读本科时，深度学习三巨头之一的GeoffreyHinton就成了他的导师，当时这个领域一片荒芜，但他的学习动机非常明确，就是要对AI做出哪怕非常小但有意义的贡献。Hinton一开始给Sutskever的研究项目是改进随机邻居嵌入算法，后者的出色表现给Hinton留下了深刻印象。
年，在多伦多大学读博期间，在Hinton的指导下，他和博士生同学AlexKrizhevsky设计了AlexNet，并在当年的ImageNet大赛上一举夺魁。AlexNet的出现使得深度学习大放异彩，并让AI在过去10年里得到突飞猛进的发展。
博士毕业后，他加入了Hinton的新研究公司DNNResearch，年3月，这家只有三个人的创业公司被谷歌收购，Sutskever担任GoogleBrain的研究科学家。
期间，他与谷歌研究员OriolVinyals和QuocLe提出了Seq2seq学习，开启了RNN广泛应用于语言任务的时代。他还参与开发了机器学习框架TensorFlow，用于大规模机器学习。更重要的是，他还参与研发了DeepMind的AlphaGo，该系统基于深度神经网络和蒙特卡罗树搜索方面进行训练，并使用强化学习算法自学习，他也是AlphaGo论文的作者之一。
年7月，Sutskever参加了一场有SamAltman（YCombinator前总裁）、ElonMusk和GregBrockman（现OpenAI首席技术官）的饭局，他们一致决定要成立一个“工程型的AI实验室”。同年末，Sutskever与GregBrockman共同创立OpenAI，致力于创造出通用人工智能，并获得了ElonMusk，SamAltman和LinkedIn创始人ReidHoffman等人的私人投资，在6年时间里，他们如今开发出了GPT、CLIP、DALL-E和Codex等震动业界的AI项目。
作为一个AI前沿领域的探索者，纵览其职业生涯，Sutskever的每一次转向似乎都能恰到好处地挖到黄金。
那么，他对AI发展的敏锐度来自何处，又如何看待未来神经网络、AI的发展机遇？在PieterAbbeel主持的TheRobotBrainsPodcast节目中，IlyaSutskever分享了他在多伦多大学、谷歌、OpenAI等经历的研究往事，在深度学习崛起十年之际，我们将了解到这个AI革新者和引领者背后的思考和分析。
以下为对话内容，OneFlow社区做了不改变原意的编译：
1
为何决定研究神经网络
PieterAbbeel：很多人认为，新一轮AI高潮的到来是从年AlexNet的突破开始的，你是促成这一时刻发生的人之一。但在那之前，别人都在研究其他各种的计算机视觉方法，你为什么却在研究应用于计算机视觉的神经网络？
IlyaSutskever：这一决定是由过去几年一系列认识产生的结果。第一个认识是，JamesMartens写的一篇名为《通过Hessian-Free优化深度学习》的论文第一次证明可以从监督数据进行端到端训练深度网络。
但在当时的某些情况下，大家都觉得无法训练深度网络。反向传播太弱了，你需要进行某种形式的预训练，然后才可能会有一些进展。而且，即使能进行端到端训练，深度网络到底能做什么？
当然，现在我们提到深度学习，就觉得训练神经网络是理所当然，只需要一个大型神经网络，输入数据，然后输出很不错的结果。
人们真正
转载请注明：http://www.0431gb208.com/sjslczl/3431.html
