机器学习的研究过程通常分为浅层次的机器学习和深层次的机器学习（深度学习）。
智能机器人
在年前，大多数机器学习方法是使用浅结构模型来处理数据，且结构模型至多只有一层或两层的非线性特征的层。最有代表性的若干浅层结构：高斯混合模型（GaussianMixtureModel,GMM），K均值聚类，支持向量机（SupportVectorMachine,SVM）、Logistic回归等。
目前，浅层结构模型已经被应用于解决一些在简单的实际问题，但是当有复杂的真实世界问题时，浅层模型将不能很好的表达，比如自然图像、自然语言（NLP）、自然声音和人类语音等领域时，这些模型效果和表达能力将会不起作用。
深度学习（DeepLearning,DL），从狭义上理解，就是一种具有一定的结构和训练方法且含有多个隐含层的神经网络；从广义上理解，可以把具有任何层次结构的机器学习方法称为深度学习。在深度学习过程中，从输入图像，经过无监督的逐层训练和学习图像特征，通过有监督的训练更新整个网络参数，最小化损失函数，在输出层实现正确的分类。最近的几年里，深度学习在机器学习领域得到了飞速的发展，相关的理论成果和实践成果也层出不穷，其主要的贡献是在自然语言处理、图像分类任务、声音识别等领域上。自年PaulWerbos等人提出反向传播算法（BP算法），解决了由浅层的神经网络模型应用到深层的神经网络模型中线性不可分的问题。深层神经网络一般使用反向传播算法的方法来训练，但是由于层数较多并且随机初始化的方法较粗糙，随着深度加深，会造成的训练结果不稳定或产生“梯度消失”的问题，使得深层神经网络无法work。
深度网络
直到年多伦多大学的GeoffHinton大牛在《Science》杂志上发表的一篇关于深度置信网（DeepBeliefNetworks，DBN）的文章，他的方法是层叠很多个受限玻尔兹曼机（RestrictedBoltzmannMachine,RBMs）组成的一个深度置信网络，经过无监督的逐层贪心算法来训练，解决了局部最优、梯度消失等问题，并在MN1ST手写数据库上取得很高的识别率，结果为98.8%。
受DBN方法的启发，年，另一位深度学习大牛Benigo将DBN中的每层RBM替换为自动编码机（Auto-encoder），提出了层叠自动编码机（StackedAuto-encoder，SAE）的深度结构，经过对MN1ST手写数字数据库的无监督预训练，取得了98.6%识别率。此时，深度学习的三种常用的基本架构就是DBN结构、SAE结构与年LeCun提出的卷积神经网络结构（ConvolutionalNeuralNetwork,CNN）。在学术界和工业界引起了广大的
转载请注明：http://www.0431gb208.com/sjszlff/2583.html
