哪家公司建设网站/百度推广售后

一、引言

       与仅包含一层隐含层的网络不同，深度神经网络一般采用的激活函数为ReLU而不是Sigmoid函数，并且没有了阈值，而在每一层的输出上加上了偏置（Bias）。对于三层神经网络中隐层的节点，其输入首先要与阈值作差，然后将差值输入到激活函数(Sigmoid)中。虽然都是采用BP算法进行更新，但三层网络更新的是权重和阈值，而深度网络中更新的是权重矩阵和偏置。此外，由于是多层隐含层，所以需要在更新当前层的时候用到后面一层的信息，需要明确给出权重矩阵和偏置的更新公式。

二、输入变换

       1. 以卷积神经网络为例，输入为m行n列c通道的图像，总图像数目为K；

       2. 将每张图像拉直成一个行向量，维度大小为1*m*n*c，记l=1*m*n*c；

       3. 这样，所有图像组成一个矩阵，表示如下：

       4. 将图像拉直成行向量的做法与tensorflow框架一致，而Adrew Ng采用列向量。

三、网络设置

       1. 假设网络有H层；

       2. 以ReLU函数为例，除最后一层激活函数为Softmax外，其余层激活函数为ReLU；

       3. 网络最后一层的节点数目等于类别数目；

       4. 采用交叉熵作为损失函数。

四、符号标记

五、前向传播公式（Forward Propagation）:

六、逆向传播公式（Backward Propagation）:

    1. 总体递推顺序如下图所示：

七、总结:

       以上是全连接网络的权重和偏置更新公式推导，每两层之间的节点是全都有连接的，与卷积神经网络（CNN）不同，CNN中是只有卷积核覆盖的点才会映射到下一层节点，参数量应该降低了许多。下面学习CNN权重和偏置推导的过程，看看其与全连接神经网络有何异同。

       以上推导过程是图片格式，如有不清晰，可下载word版（见我的资源-神经网络参数更新公式推导（二））。