随机初始化-进入it企业必读的200个.net面试题完整扫描版下载

9.6 随机初始化 参考视频: 9 - 6 - Random Initialization (7 min).mkv 任何优化算法都需要一些初始的参数。到目前为止我们都是初始所有参数为 0，这样的 初始方法对于逻辑回归来说是可行的，但是对于神经网络来说是不可行的。如果我们令所有 的初始参数都为 0，这将意味着我们第二层的所有激活单元都会有相同的值。同理，如果我 们初始所有的参数都为一个非 0 的数，结果也是一样的。 我们通常初始参数为正负 ε 之间的随机值，假设我们要随机初始一个尺寸为 10×11 的 参数矩阵，代码如下： Theta1 = rand(10, 11) * (2*eps) – eps