大数据文摘出品
来源：leogao.dev
编译：武帅、狗小白、马莉
随着21世纪第二个十年行将结束，我们有必要回顾一下这十年来在深度学习领域所取得的巨大进步。在性能日益强大的计算机及大数据可用性的推动下，深度学习已经成功攻克了曾经棘手的难题，特别是在计算机视觉和自然语言处理方面。深度学习在我们的日常生活中已无处不在，从自动驾驶到医学影像分析，从虚拟助理到深度伪装。
这篇文章概述了过去十年来最有影响力的一些论文。我希望通过简洁明了的摘要来提供深度学习领域不同方向的起点，并且提供了相当多的参考资料。
考虑到这项研究的性质，可以说是一千个人心中有一千个哈姆雷特。最有影响力的论文通常既不是第一篇论文也不是最好的那篇论文。我努力在它们之间找到平衡，并将最有影响力的论文作为主要条目，而将相关论文作为荣誉奖予以列出。当然，鉴于主观性的存在，这份列表并不是什么权威榜单云云。如果你觉得这份榜单有所遗漏，顺序或描述存在错误，请告诉我一声，以便加以改进，让这份榜单更加完整准确。
理解深度前馈神经网络训练的难点（次引用）
Xavier初始化后的激活（上）和不进行初始化的激活（下）
本文探讨了深度网络的一些问题，特别是权值的初始随机化。本文还注意到了S型曲线和双曲正切激活问题，并提出了替代方案SoftSign，它是一种具有更加平滑的渐近线的S型激活函数。但是，本文最主要的贡献在于初始化。当使用正态分布的权重进行初始化时，数值很可能会急剧增大或者减小，从而无法进行训练。假设前一层的值是正态分布的独立同分布，则将它们相加会增大其方差，因此应按输入数量成比例地缩小方差，以保持输出值服从标准正态分布。将这个逻辑反过来（即按输出数量进行处理）则可以处理梯度的问题。本文介绍的Xavier初始化是两者之间的折衷，是利用方差为
的正态分布初始化权重，
和
分别是前一层神经元和后一层神经元的数量。年的一篇论文《深入研究整流函数：在ImageNet分类上超越人类水平》介绍了Kaiming初始化，它是在Xavier初始化的基础上考虑了ReLU激活函数的一个改进版本。
深度稀疏整流神经网络(次引用)
从最早的MLP到年左右的许多神经网络都是用S型函数作为激活函数。S型函数具有处处可微和输出有界的特点，常用的有Logistic函数和双曲正切函数。而且它与神经生物学中的全或无定律相吻合。（注：全或无定律是神经传导的一项基本特性。即当刺激达到神经元的反应阈限时，它便以最大的脉冲振幅加以反应，但刺激强度达不到某种阈限时，神经元便不发生反应。详情参考
转载请注明：http://www.0431gb208.com/sjszjzl/4616.html
