四个基本等式的证明(选读)

现在我们开始证明(BP1)-(BP4)这四个等式。所有这四个都是多变量微积分中链式法则的结果。如果你对链式法则很熟悉，那么强烈支持你在读之前试着自己推导。

让我们从等式(BP1)开始，它给出了输出误差$\delta^L$的表达式。为证明这个等式，回顾一下其定义

$\begin{eqnarray} \delta^L_j = \frac{\partial C}{\partial z^L_j}. \tag{36} \end{eqnarray}$

使用链式法则，我们可以用输出激活值的偏导数来重写公式里的偏导数，

$\begin{eqnarray} \delta^L_j = \sum_k \frac{\partial C}{\partial a^L_k} \frac{\partial a^L_k}{\partial z^L_j}, \tag{37} \end{eqnarray}$

这里的和求得是输出层里所有的神经元$k$。显然，第$k^{\rm th}$个神经元的输出激活值$a^L_k$只依赖于$k=j$时第$j^{\rm th}$个神经元的权重输入$z^L_k$。因此当$k \neq j$时$\partial a^L_k / \partial z^L_j$没有导数。然后我们就可以将上面的等式简化为

$\begin{eqnarray} \delta^L_j = \frac{\partial C}{\partial a^L_j} \frac{\partial a^L_j}{\partial z^L_j}. \tag{38} \end{eqnarray}$

回想$a^L_j = \sigma(z^L_j)$，右面第二个公式可以写成$\sigma'(z^L_j)$，然后等式变为

$\begin{eqnarray} \delta^L_j = \frac{\partial C}{\partial a^L_j} \sigma'(z^L_j), \tag{39} \end{eqnarray}$

这就是(BP1)的分量形式。

然后，我们来证明(BP2)，它给出了误差$\delta^l$用下一层误差$\delta^{l+1}$表示的等式。为此，将$\delta^l_j = \partial C / \partial z^l_j$重写为用$\delta^{l+1}_k = \partial C / \partial z^{l+1}_k$的形式。我们可以用链式法则这样做，

$\begin{eqnarray} \delta^l_j & = & \frac{\partial C}{\partial z^l_j} \tag{40}\\ & = & \sum_k \frac{\partial C}{\partial z^{l+1}_k} \frac{\partial z^{l+1}_k}{\partial z^l_j} \tag{41}\\ & = & \sum_k \frac{\partial z^{l+1}_k}{\partial z^l_j} \delta^{l+1}_k, \tag{42} \end{eqnarray}$

这里的最后一行，在右手边有两个可以相互交换的项，并替换了$\delta^{l+1}_k$的定义形式。求最后一行的第一项时，需要注意的是

$\begin{eqnarray} z^{l+1}_k = \sum_j w^{l+1}_{kj} a^l_j +b^{l+1}_k = \sum_j w^{l+1}_{kj} \sigma(z^l_j) +b^{l+1}_k. \tag{43} \end{eqnarray}$

求微分后得到，

$\begin{eqnarray} \frac{\partial z^{l+1}_k}{\partial z^l_j} = w^{l+1}_{kj} \sigma'(z^l_j). \tag{44} \end{eqnarray}$

代换到(42)中得到

$\begin{eqnarray} \delta^l_j = \sum_k w^{l+1}_{kj} \delta^{l+1}_k \sigma'(z^l_j). \tag{45} \end{eqnarray}$

这就是(BP2)的分量形式。

最后要证明的两个等式是(BP3)和(BP4)。它们也是用链式法则，像上面两个等式相似的证明方式。留下来让你们做一下练习。

练习

• 证明等式(BP3)和(BP4)

这就完成了反向传播四个基本等式的证明。这些证明看起来很复杂，但真的只是仔细运用链式法则的结果。有点绕嘴的说，可以把反向传播看成是通过按部就班的运用多变量微积分的链式法则来计算损失函数的梯度。这就是反向传播的全部内容——剩下的是一些细节。

练习题证明

• 证 BP3

求证： $\begin{eqnarray} \frac{\partial C}{\partial b^l_j} = \delta^l_j \tag{BP3} \end{eqnarray}$

证明：

$\begin{eqnarray} \frac{\partial C}{\partial b^l_j} & = & \frac{\partial C}{\partial z^l_j} \frac{\partial z^l_j}{\partial b^l_j} \\ & = & \delta^l_j \frac{\partial (\sum_k w^l_{jk} a^{l-1}_k+b^l_j)}{\partial b^l_j} \\ & = & \delta^l_j * 1 \\ & = & \delta^l_j \tag{BP3} \end{eqnarray}$

• 证 BP4

求证：

$\begin{eqnarray} \frac{\partial C}{\partial w^l_{jk}} = a^{l-1}_k \delta^l_j \tag{BP4} \end{eqnarray}$

证明：

$\begin{eqnarray} \frac{\partial C}{\partial w^l_{jk}} & = & \frac{\partial C}{\partial z^l_j} \frac{\partial z^l_j}{\partial w^l_{jk}} \\ & = & \frac{\partial (\sum_k w^l_{jk} a^{l-1}_k+b^l_j)}{\partial w^l_{jk}} \delta^l_j \\ & = & a^{l-1}_k\delta^l_j \tag{BP4} \end{eqnarray}$