雷锋网AI科技评论按：上周，深度学习顶级学术会议ICLR在新奥尔良落下帷幕。毕业于斯坦福大学、现就职于英伟达的女性计算机科学家ChipHuyen参加了这次会议，谈到对这次峰会的感想，她有以下8点想要讲：
1.包容性
这次ICLR着重强调了包容性在AI中的重要作用：前两个主要演讲——SashaRush的开场致辞和CynthiaDwork的受邀演讲——都是有关公平和平等的。其中一些数据引起了人们的担忧：
演讲者和参会者中，女性的占比率分别只有8.6%和15%；
2/3的LGBTQ+研究者没有以专业身份出席；
这次邀请的大会演讲嘉宾一共8位，但均为白人。
SashaRush开场致辞的一页PPT
不幸的是，这种情况似乎并没有引起AI研究者的注意和反思。其他的workshop都门庭若市，但AIforSocialGoodworkshop却无人问津，这种情况一直到YoshuaBengio的出现才有所改善。在我参与的众多ICLR交流活动中，没有人提到过多样性——直到有一次我大声质问会方为什么要邀请我来这个并不适合我的科技活动时，一位朋友才告诉我：「说出来可能有点冒犯，请你来是因为你是女性。」
这种现象存在的某种原因是——这类话题是非「技术性」的，这意味着，就算你在此花费再多是时间也不会对你的研究生涯有所助益。另一方面是由于社会风气依然存在一些问题。一位朋友曾告诉我，不要理睬那个在群聊挑衅我的人，因为「他喜欢取笑那些探讨平等和多样性的人」。我有些朋友不会在网上谈论任何有关多样性的话题，因为他们不想「和那种话题扯上关系」。
2.无监督表征学习迁移学习
无监督表征学习的主要目标，是从无标注数据中发现有用的数据表征以完成后续任务。在NLP中，无监督表征学习通常是利用语言建模完成的。然后将学到的表征运用到情感分析、命名实体识别、机器翻译等任务中。
去年有几篇成果不错的论文，内容是关于NLP无监督表征学习的，其中包括ELMo(Petersetal.)、ULMFiT(Howardetal.)、OpenAI的GPT(Radfordetal.)、BERT(Devlinetal.)，当然，还有「危险性太大而不能公布的完整的GPT-2」。
在完整的GPT-2模型在ICLR上进行展示之后，效果令人十分满意。你可以输入任意开头语句，它将会帮你完成后续的文本创作——比如写出Buzzfeed文章、同人文、科学论文甚至是一些生造词汇的含义。但它现在的水平依然还没法完全与人类持平。团队现在正在研究GPT-3，规模更大、可能效果也更好。我已经迫不及待想看到它的成果了。
虽然计算机视觉是较早的成功应用迁移学习的社区，但其基本任务——在ImageNet上训练分类模型——仍然是监督式的。自然语言处理社区和计算机视觉社区都在问同一个问题：「怎样才能将无监督表征学习应用到图像上？」
尽管那些最有名的实验室已经开始研究，但只有一篇论文出现在ICLR大会上：「Meta-LearningUpdateRulesforUnsupervisedRepresentationLearning」(Metzetal.)。他们的算法没有更新权重，而是更新了学习规则。接下来在少量标注样本上微调从习得学习规则中学到的表征，来解决图像分类问题。他们能够在MNIST和FashionMNIST上找到准确率大于70%的学习规则。
作者解释了其中的一部分代码，但是并不打算公开它们，因为「它与计算有关」。外层循环需要大约10万训练步，在个GPU上需要个小时的训练时间。
元学习的内、外循环（Metzetal.）
我有种预感，在不久的将来，我们会看到更多这样的论文。可以使用无监督学习的任务包括：自动编码、预测图像旋转（Gidaris等人的论文《UnsupervisedRepresentationLearningbyPredictingImageRotations》在ICLR上很火）、预测视频中的下一帧。
3.回溯ML
机器学习领域的理念和时尚类似，都是在转圈子。在postersession四处走走感觉像走在记忆的回廊上。即使更受期待的ICLR辩论也终结在「先验vs结构」的话题上，而这是去年YannLeCun和ChristopherManning讨论过的话题，这种讨论类似贝叶斯学派和频率学派之间的经年辩论。
MIT媒体实验室的「GroundedLanguageLearningandUnderstanding」项目在1年就中断了，但是groundedlanguagelearning今年带着两篇论文重回舞台，不过它穿上了强化学习的外衣：
DOM-Q-NET:GroundedRLonStructuredLanguage(Jiaetal.)：给出一个用自然语言表达的目标，该强化学习算法通过填充字段和点击链接学习导航网页。
BabyAI:APlatformtoStudytheSampleEfficiencyofGroundedLanguageLearning(Chevalier-Boisvertetal.)：一个和OpenAIGym兼容的平台，具备一个手工制作的bot智能体，该智能体可以模拟人类教师指导智能体学习合成语言。
我对这两篇论文的想法和AnonReviewer4一样：
「……这里提出的方法和语义解析文献中研究的方法非常类似，尽管这篇论文仅引用了最近的深度强化学习论文。我认为作者会从语义解析文章中受益良多，语义解析社区也可以从这篇论文中得到一些启发……但是这两个社区实际上交流并不多，即使在某些情况下我们研究的是类似的问题。」
确定性有限状态自动机（DFA）也有两篇论文登上了ICLR的舞台：
RepresentingFormalLanguages:AComparisonBetweenFiniteAutomataandRecurrentNeuralNetworks(Michalenkoetal.)
LearningFiniteStateRepresentationsofRecurrentPolicyNetworks(Kouletal.)
两篇论文的主要动机是，因为RNN中的隐藏态空间很大，那么状态数量是否可以减少到有限的数量呢？我怀疑DFA是否能准确地在语言中代表RNN，但我很喜欢在训练阶段学习RNN，然后把它转换到DFA进行推理的想法，如同Koul等人的论文所示。结果得到的有限表征在游戏Pong中只需要3个离散记忆状态和10个观察状态，它也能帮助解释RNN。
从RNN学习一个DFA的三个阶段（koul等人）
提取自动机（Koul等人）
4.RNN失宠
到年的提交论文主题变化反映出：RNN出现大幅下降。这也在意料之中，因为RNN虽然适用于序列数据，但也存在极大缺陷：它们无法并行化计算，因而无法利用年以来较大的研究驱动因素——算力。RNN在计算机视觉和强化学习领域并不流行，而在一度流行的自然语言处理领域，它们也正在被基于注意力的架构取代。
RNN失宠（图源：ICLR补充统计数据）
这是否意味着RNN将被抛弃？并不尽然。ICLR上最好的两篇论文之一《Orderedneurons:IntegratingtreestructuresintoRecurrentNeuralNetworks》就和RNN有关。除了这篇佳作和上文提到的两篇关于自动机的论文以外，ICLR还接收了9篇关于RNN的论文，其中大部分研究深入挖掘RNN的数学基础知识，而不是探索RNN的新应用。
在工业界，RNN仍然很活跃，尤其是处理时序数据的公司，比如贸易公司。但遗憾的是，这些公司通常不会发表自己的研究。即使现在RNN对研究者不是那么有吸引力，我们也知道未来它可能「卷土重来」。
5.GAN仍然势头强劲
相比去年，GAN的相关变化比较负面，但相关论文的数量实际上有所增长，从大约70篇增长到了篇左右。IanGoodfellow受邀发表了以GAN为主题的演讲，一如既往受到了众多
转载请注明：http://www.0431gb208.com/sjsbszl/4385.html
