四个基本方程的证明（自选章节）

接下来我们来证明四个基本方程（BP1）-（BP4）。这四个方程都是通过多元积分链式法则推到出来的。如果你比较熟悉链式法则，那我强烈建议你先自己推导一遍下面的公式。

首先证明方程（BP1），该方程给出了输出错误量$\delta^L$的表达式。首先回想一下定义

$$\begin{eqnarray} \delta^L_j = \frac{\partial C}{\partial z^L_j}. \tag{36}\end{eqnarray}$$

应用链式法则, 我们可以把上述偏导数改写成带有输出激活值的偏导数形式，

$$\begin{eqnarray} \delta^L_j = \sum_k \frac{\partial C}{\partial a^L_k} \frac{\partial a^L_k}{\partial z^L_j}, \tag{37}\end{eqnarray}$$

这里的求和是对于输出层的所有神经元$k$而言的。当$k = j$时，第$k^{\rm th}$个神经元的输出激活$a^L_k$ 只依赖于对第$j^{\rm th}$个神经元的输入$z^L_j$。并且当$k \neq j$时，$\partial a^L_k / \partial z^L_j$ 项为零。因此我们可以简化上面的方程为

$$\begin{eqnarray} \delta^L_j = \frac{\partial C}{\partial a^L_j} \frac{\partial a^L_j}{\partial z^L_j}. \tag{38}\end{eqnarray}$$

回想下，$a^L_j = \sigma(z^L_j)$右边第二项可以写为$\sigma'(z^L_j)$，这样方程就变为

$$\begin{eqnarray} \delta^L_j = \frac{\partial C}{\partial a^L_j} \sigma'(z^L_j), \tag{39}\end{eqnarray}$$

证得 (BP1)中的一项。

接下来我们再证 (BP2)，它根据后一层的错误量$\delta^{l+1}$来计算当前层$\delta^l$。为了证明该等式，我们先依据$\delta^{l+1}_k = \partial C / \partial z^{l+1}_k$改写一下等式$\delta^l_j = \partial C / \partial z^l_j$。应用链式法则，

$$\begin{eqnarray} \delta^l_j & = & \frac{\partial C}{\partial z^l_j} \tag{40}\\ & = & \sum_k \frac{\partial C}{\partial z^{l+1}_k} \frac{\partial z^{l+1}_k}{\partial z^l_j} \tag{41}\\ & = & \sum_k \frac{\partial z^{l+1}_k}{\partial z^l_j} \delta^{l+1}_k, \tag{42}\end{eqnarray}$$

在最后一行，我们交换了下表达式右侧的两项，并代入了 $\delta^{l+1}_k$的定义。为了计算最后一行的第一项，我们注意到

$$\begin{eqnarray} z^{l+1}_k = \sum_j w^{l+1}_{kj} a^l_j +b^{l+1}_k = \sum_j w^{l+1}_{kj} \sigma(z^l_j) +b^{l+1}_k. \tag{43}\end{eqnarray}$$

求导后，我们得到

$$\begin{eqnarray} \frac{\partial z^{l+1}_k}{\partial z^l_j} = w^{l+1}_{kj} \sigma'(z^l_j). \tag{44}\end{eqnarray}$$

代回 (42) 我们得到

$$\begin{eqnarray} \delta^l_j = \sum_k w^{l+1}_{kj} \delta^{l+1}_k \sigma'(z^l_j). \tag{45}\end{eqnarray}$$

证得 (BP2)中的一项。

最后两个方程（BP3）和（BP4）的证明，类似于前两个方程以上的证明方式，也依赖链式法则。证明作为练习。

练习

• 证明方程（BP3）和（BP4）。

至此我们完成了反向传播的四个基本方程的证明。证明看似复杂，但其实就是应用链式法则后得到的结果。简而言之，我们可以把反向传播看作一步步地应用多元变量微积分的链式法则计算代价函数梯度的方法。这就是所有关于反向传播的内容，剩下的就是一些细节问题了。