我们可以从神经科学中得出部分大概的指导方针。有许多计算单元，只有通过它们之间的相互作用才能变得智能，这一基本原理是由大脑激发的。“新认知机”提出了一种强大的图像处理模型体系结构，它受到哺乳动物视觉系统结构的启发，后来成为现代卷积网络的基础。 最初的认知机引进了更复杂的版本，这是高度启发我们的大脑功能知识。现代版本是与Nair和Hinton(2010)和Glorot等人一起从多个角度开发的。和Jarrett等人将神经科学作为一门学科。引用了更多的工程导向。尽管神经科学是一个重要的研究方向，它不用被看作一个僵硬的指南。我们知道，实际的神经元计算传入式的功能比现代的线性单元要好，但是更大的神经实现还没有导致机器学习性能的提高。而且，尽管泌尿科学已经激发了几种神经网络的体系结构，但对神经科学中的生物学习还不太理解，无法对我们用来训练这些体系结构的学习算法提供更多的指导。

媒体经常发表深度学习与大脑的近似的观点，而深度学习者会引用大脑作为研究对象，而不是其他机器学习中的研究者，如核机器或贝叶斯统计，一个人不应该竞争。深度学习是模拟大脑的一种尝试。目前深度学习从很多的方面得到了启发，尤其是应用数学基础，如线代和信息论。虽然一些深度的学习研究者作将其作为一个发展思路，其他人根本不关心何为神经科学。这种努力被称为“计算神经科学”，它是一个独立于深度学习的方面。研究人员在两个方面来回移动是很普遍的。深度学习的领域主要是关于如何构建能够成功地解决需要智力的任务的计算机系统，而计算神经科学的领域主要涉及怎样构建更为准确的大脑如何实际工作的模型。

20世纪80年代，第二波神经网络研究在很大程度上是通过一种称为连接论或并行分布式过程的运动产生的(Rumelhart等人，1986年cMcClelland等人，1995年)。连接论产生于认知科学的语境中。认知科学是用一种跨学科的方法来理解大脑，可将很多不同的方面并在一起研究。在1980年代早期，很多认知科学家都在发研符号推理模型。由于符号模型的普及，符号模型被称为邪教，用来解释大脑如何使用神经元来实现它们。连接主义者开始研究实际上可以建立在神经实现基础上的认知模型(Touretzky and Minton，1985)，并重新提出了许多可追溯到20世纪40年代心理学家Donald Hebb工作的想法(Hebb，1949)。连接论的中心理论是，大量简单的计算单元可以在联网时实现智能行为。这样的洞察力也可用于在生物神经系统中的神经元，就像它适用于计算模型中的隐藏单元一样。

在20世纪80年代的连接主义运动中产生了几个关键概念，这些概念仍然是今天深入学习的核心概念之一，其中之一是分布式表示(Hinton等人，1986)。这是一种思想，即对一个系统的每单个输入皆应用许多特性来表示，每个特性都需要包含在许多可能的输入的表示中。比方说，如果我们有一个可识别汽车、卡车和鸟类的系统，这些物体都可以是红色、绿色或蓝色。表示这些输入的一种方法是有一个单独的神经元或隐藏单元来激活九种可能的组合：红色卡车、红色汽车、红鸟、绿色卡车等等。这需要9个双传入神经元，每个神经元都要独自学习对象拥有的不同要素。改善这个情形的一种方法是用分布式，其中用3个神经元描述色泽，3个神经元表示对象为何种类。这只需要总共6个神经元，表达红色的神经元可以从汽车、卡车和鸟类的图像中了解到什么是红色，而单单是从一个类对象的图像中了解红色。

连接主义运动的其他主要成就是成功地利用反向传播来训练具有内部表征的深层神经网络，并推广了反向传播这一计算方法。这种算法在流行程度上起起伏伏，但在之前，它是深层模型训练的主要方法。1990年代，研究者在利用神经网络对序列建模这一领域取得了极大成果。Hochreiter(1991年)和Bengio等人。1994年编辑了一些基本的数学工具在长序列建模中的作用。Hochreiter与Schmidhuber(1997)引入了长时记忆(Lstm)网络来解决其中的一些问题。目前，LSTM经常被人们用于序列建模任务，也包含了Google的自然语言处理任务。