6.26 走向深度

在实际应用层面上，十年前出现的一些特定创新让深度学习成为可能，那时，人们对人工智能和神经网络的兴趣已经降到了数十年来的最低点。一个由政府和私人捐助者资助的加拿大组织加拿大高等研究院（CIFAR）通过赞助一个由多伦多大学的Georey Hinton领导的项目重新点燃了人们的兴趣。该项目成员还包括纽约大学的 Yann LeCun、斯坦福大学的吴恩达、加州大学伯克利分校的 BrunoOlshausen、我和其他一些人。那时候，人们对这一领域的消极态度使发表论文，甚至说服研究生从事这方面的研究都很困难，但我们几个人强烈地认为向前迈进是很重要的。

那时候，人们对神经网络持怀疑态度的部分原因是人们相信训练它们是毫无希望的，因为，在优化它们的行为方式上存在着许多挑战。优化（optimization）是数学的一个分支，其作用是尝试寻找实现某个数学目标的参数配置。在神经网络中，这些参数被称为突触权重（synaptic weight），代表了一个信号被从一个神经元发送至另一个神经元的强度。

其目的是得出错误量最小的预测。当参数和目标之间的关系足够简单时——当目标是参数的一个的凸函数时，更为精确——参数可以逐步得到调整。然后，持续调整直到得到能产出尽可能好的选择的参数值；这个最好的选择被称为全局极小值（globalminimum）——其对应于网络做出的最低可能的平均预测误差。

然而，在一般情况下，训练神经网络并非那么简单——并且需要所谓的非凸优化（nonconvexoptimization）。这种类型的优化带来了更大的挑战——而且许多研究者相信这个障碍是不可逾越的。学习算法会受限于所谓的局部极小值（localminimum），在这种情况中，它不能通过稍微调整参数来减少预测误差。

直到去年，神经网络因为局部极小值而难以训练的迷思才被解决。在我们的研究中，我们发现当一个神经网络足够大时，局部极小值问题会大大减少。大部分局部极小值实际上都对应于在某个水平上学到的知识——该水平与全局极小值的最优值基本上是匹配的。

尽管理论上，优化的理论难题可以得到解决，但是，构建超过两层或三层的大型网络通常以失败告终。2005年年初，CIFAR 支持下的努力取得突破，成功克服了这些障碍。2006 年，我们使用一种层上叠层的技术成功训练了更深度的神经网络。

后来，在 2011 年，我们发现了一种更好的方法以用于训练更深度的网络——有更多虚拟神经元层的方法——通过修改每个这些处理单元所进行的计算，让它们更像是生物神经元实际上所进行的计算。我们也发现，在训练中将随机噪声注入神经元之间传递的信号（类似于大脑中的情况）能让它们更好地学习正确地识别图像或声音。

有两个关键技术帮助实现了深度学习技术的成功。一是最初为视频游戏设计的图形处理单元让计算速度直接提升了 10 倍，这样，我们就可以在一个合理时间内训练更大网络。另一个助力深度学习增长的因素是可以接触到大型有标签数据集，让学习算法可以识别正确的答案——比如，当识别猫只是其中一个元素的图片时，就可以识别正确答案——“猫”。

深度学习近来成功的另一个原因在于其学习执行计算序列的能力——这些计算序列一步一步对图像、声音或其它数据进行构建或分析。网络的深度即是这些步骤的数量。人工智能擅长的许多视觉或听觉识别任务都需要很多层的深度网络。事实上，在最近的理论和实验研究中，我们实际上已经证明，在没有足够深度网络的情况下，这些数学运算中的一部分无法得以有效执行。

深度神经网络中的每一层都会转换其输入并生成一个被发送到下一层的输出。该网络的更深度层代表了更为抽象的概念（见上述框图），这也更远离最初的原始感官输入。实验表明，网络中更深度层中的人工神经元往往对应于更抽象的语义概念：比如一个视觉物体，如一张桌子。对桌子图像的识别可能会从更深层上神经元的处理中涌现，即使「桌子」的概念并不位于网络接受过训练的分类标签中。而且桌子概念本身可能只是创建更抽象概念的一个中间步骤，这个更抽象的概念位于可能被网络分类为“办公室场景”的这类更为深度的层级上。