哪个域名网站好/今天发生的重大新闻事件

反向传播算法（Backpropagation algorithm，BP）适合于多层神经元网络的一种学习算法，它建立在梯度下降法的基础上。BP网络的输入输出关系实质上是一种映射关系：一个n输入m输出的BP神经网络所完成的功能是从n维欧氏空间向m维欧氏空间中一有限域的连续映射，这一映射具有高度非线性。它的信息处理能力来源于简单非线性函数的多次复合，因此具有很强的函数复现能力。这是BP算法得以应用的基础。

反向传播过程包括以下两个方面：

前向传播:将训练输入送入网络以获得激励响应；

反向传播:将激励响应同训练输入对应的目标输出求差，从而获得隐层和输出层的响应误差。

这里先提前介绍下sigmoid函数及其导数：

（1）

（2）

假设网络层如下所示：

第一层是输入层，包含两个神经元i1，i2，和截距项b1；第二层是隐含层，包含两个神经元h1,h2和截距项b2，第三层是输出o1,o2，每条线上标的wi是层与层之间连接的权重，激活函数我们默认为sigmoid函数。

前向传播公式推导

输入层

隐藏层：

若计算隐藏层h1的前项传播，求h1的输出：

先计算h1的输入加权和：

接下来经过sigmoid激活函数：

同理可以计算出h2的加权和：

隐藏层

输出层

输出层o1的加权和：

（3）

经过sigmoid激活函数：

同理可计算o2的输出：

至此：前项传播中输出层o1和o2计算结果已经得到。

反向传播公式

分别表示真实值和预测值

1 计算总误差（平方误差）

，

2 隐藏层

输出层的权值更新

以参数

为例，如果我们想知道

对整体误差产生了多少影响，可以用整体误差对w5求偏导求出：（链式法则）

1）首先计算总误差

对

的偏导

2）计算

对

的偏导

上面我们已经推导了sigmoid函数的导函数

首先

根据式（2）可得：

3）计算

对

的偏导

由公式（3）可知：

由于

（4）

为了表示方便，我们用

表示输出层的误差，

也即：

故公式（4）可表示为：

关于梯度下降算法，可参考：人在旅途：梯度下降法

最后，运用梯度下降法对

的权值进行更新，

通常

取值为0.5。

其他参数的更新，方法同上。

3 隐藏层

隐藏层的权值更新

此时以

为例：

（1）先计算

，

其中，

另，有

故：

(2) 计算

(3)计算

的权值更新方法同上

的权值更新方法。

至此，隐藏层