上一章我们看到了神经网络使用梯度下降算法可以学习它们的权重和偏移量。但我们的阐述里有一个遗漏：我们没有讨论怎么去计算成本函数的梯度。这确实是个遗漏！在本章我们将阐述一个快速计算这种梯度的算法，这个算法被称为反向传播(backpropagation)。
反向传播算法最初于1970年代被引入，但它直到一个著名的1986年论文（作者：David Rumelhart, Geoffrey Hinton, 和 Ronald Williams）才被重视起来。这个论文介绍了多种神经网络中，反向传播的学习速度比之前方法要快很多，这让使用神经网络能够处理很多之前不能解决的问题。今天，反向传播算法在神经网络学习里的主力。
本章要比书里其余部分涉及更多的数学知识。如果你不是对数学痴迷的话，你可能忍不住想跳过这一章，并将反向传播当作一个黑盒子，直接忽略它的细节。为什么要花时间来学习这些细节呢？
原因，当然是为了理解的透彻。反向传播的核心是一个神经网络里成本函数关于任意一个权重（或偏移量）偏导数的表达式。这个表达式告诉我们在我们改变权重和偏移量的时候，怎样才能让成本改变的更快。当然这个表达式有点复杂，不过它本身也很美，每一个元素都有一个自然、直观的解释。因此反向传播不只是一个快速学习的算法。它实际上让我们可以深刻了解权重和偏移量的改变是怎样改变整个网络行为的。这是非常值得去深入学习的。
说了这么多，如果你想略读这一章，或直接跳到下一章，也没关系。本书的其余章节即使把反向传播当然一个黑盒子也可以理解。当然，书里的有些地方会使用本章的一些结论。你应当理解这些关键点的主要结论，即使没有跟着推导。