反向传播算法

反向传播等式让我们可以计算成本函数的梯度。让我们将其写成算法的形式：

1. 输入$x$：为输入值设置对应的激活值$a^{1}$。

2. 前馈：对每个$l = 2, 3, \ldots, L$，计算$z^{l} = w^l a^{l-1}+b^l$和$a^{l} = \sigma(z^{l})$。

3. 输出误差：计算向量$\delta^{L} = \nabla_a C \odot \sigma'(z^L)$

4. 反向传播误差：对每个$l = L-1, L-2, \ldots, 2$计算$\delta^{l} = ((w^{l+1})^T \delta^{l+1}) \odot \sigma'(z^{l})$。

5. 输出：得出成本函数的梯度为$\frac{\partial C}{\partial w^l_{jk}} = a^{l-1}_k \delta^l_j$和$\frac{\partial C}{\partial b^l_j} = \delta^l_j$。

看一下这个算法你就明白为什么要叫反向传播（backpropagation）了。我们从最后一次开始，用相反的方向计算误差向量$\delta^l$。在网络中倒退着走可能看起来有点奇怪，但想一下反向传播的证明过程，倒退着走实际上是由成本是关于网络输出的函数造成。为了弄明白之前的权重和偏移量怎样引起成本的变化，我们需要重复的用链式法则，倒退着通过每一层来获取有用的信息。

练习

• 一个神经元被改动情况下的反向传播

假设在前馈网络里对一个神经元进行了改动，导致这个神经元的输出变为$f(\sum_j w_j x_j + b)$，这里的$f$是除S型函数之外的函数。那在这个场景里要如何修改反向传播算法呢？

• 线性神经元情况下的反向传播

假设将网络里通常是非线性的$\sigma$函数替换成$\sigma(z) = z$。重新写一下这种场景下的反向传播算法。

上面描述了反向传播算法计算一个训练样本下成本函数的梯度，$C = C_x$。实际上，反向传播通常会和一个学习算法结合使用，如随机梯度下降算法，这个算法计算多个训练样本的梯度。实际上，给出一个有$m$个训练样本的小批次，下面的算法基于这个小批次做了一步梯度下降学习：

1. 输入一个训练样本集

2. 对于每个训练样本$x$： 设置对应的输入激活值$a^{x,1}$，然后执行下面的步骤：

   • 前馈： 计算每个$l = 2, 3, \ldots, L$的$z^{x,l} = w^l a^{x,l-1}+b^l$和$a^{x,l} = \sigma(z^{x,l})$。

   • 输出误差$\delta^{x,L}$： 计算向量$\delta^{x,L} = \nabla_a C_x \odot \sigma'(z^{x,L})$。

   • 反向传播误差： 计算每个$l = L-1, L-2, \ldots, 2$的$\delta^{x,l} = ((w^{l+1})^T \delta^{x,l+1}) \odot \sigma'(z^{x,l})$。

3. 梯度下降： 按规则更新每个$l = L, L-1, \ldots, 2$的权重$w^l \rightarrow w^l-\frac{\eta}{m} \sum_x \delta^{x,l} (a^{x,l-1})^T$和偏移量$b^l \rightarrow b^l-\frac{\eta}{m} \sum_x \delta^{x,l}$。

当然，在实际情况下实现随机梯度下降还需要一个外层循环来生成训练样本的小批次，和一个逐步完成多代的训练。简单起见，省略了这些内容。