反向传播算法-进入it企业必读的200个.net面试题完整扫描版下载

9.2 反向传播算法 参考视频: 9 - 2 - Backpropagation Algorithm (12 min).mkv 之前我们在计算神经网络预测结果的时候我们采用了一种正向传播方法，我们从第一层 开始正向一层一层进行计算，直到最后一层的 hθ(x)。 现在，为了计算代价函数的偏导数 ，我们需要采用一种反向传播算法，也 就是首先计算最后一层的误差，然后再一层一层反向求出各层的误差，直到倒数第二层。 以 一个例子来说明反向传播算法。 假设我们的训练集只有一个实例（x(1),y(1)），我们的神经网络是一个四层的神经网络， 其中 K=4，SL=4，L=4： 前向传播算法： 我们从最后一层的误差开始计算，误差是激活单元的预测（ ）与实际值（yk）之间 的误差，（k=1:K）。 我们用 δ 来表示误差，则：