为什么要使用反向传播
在监督学习中,比如线性回归、逻辑回归等问题中,在训练模型的过程中有很重要的一步就是对输入的权重(theta,又叫 W)不断的更新,以降低 Cost function 的输出值。在之前,我们都是通过是手动计算的方式去计算权重参数的偏导数。
在神经网络中,由于神经元的数目比较多,导致权重参数(theta)也会非常的多,在这样的情况下,手动计算权重参数的偏导数的方式已经不太适用了,并且由于函数的复杂性也很可能会导致计算出错。
那我们该怎么去计算所有权重参数的偏导数呢?
当然是利用我们今天要讲的「反向传播算法」啦!