4 改进BP算法的方法

　　BP算法应用广泛，但它又存在很多缺陷，针对BP算法的问题，国内外许多学者提出各种改进方法，主要的改进方法分为两类：一是启发式改进，如附加动量法和自适应学习率等；二是结合新理论的改进。这些方法在不同程度上提高了网络的收敛速度，避免了局部最小问题。

　　4.1 启发式改进方法

　　启发式改进方法是建立在BP网络梯度下降规则的基础上，通过对BP神经网络的权值和学习率的改进，从而解决BP网络在学习训练过程中遇到的问题。它的核心思想是：使权重的调整量最大限度的适应误差下降的要求。该文主要介绍了附加动量法。

　　传统的BP算法实际上是运用最速下降规则来搜索最优点的算法，该规则是顺着梯度的反方向进行权值的修正，并不将前一阶段积累的经验考虑进来。因此会在训练过程中发生震荡，导致收敛速度缓慢。但是将动量项引入到BP网络中后，当输入样本依照顺序输入时，则可以将权值的修正公式看作为以t为变量的时间序列，那么权值的修改公式就改变为如下所示：

　　[Δwn=-ηt=0nan-1?Et?Wt]

　　加入动量项以后若本次[?Et?Wt]与前一次同号时，则加权和增大，使[Δwn]增大；当[?Et?Wt]与上一次符号相反时，说明算法存在一定的震荡，此时指数加权和减小，使[Δwn]减小[7]。

　　4.2 BP网络结构的优化

　　在BP算法中，输入和输出节点的个数由实际问题确定，网络结构的优化主要是针对隐藏层的节点数和层数。许多研究表明，一个隐藏层就可以解决各种分类问题。那么对于隐藏层节点的个数的确定，有的学者给出了公式[NH=NI+NO+L]（其中[NH]表示隐藏层节点数，[NI]表示输入层节点数，[NO]表示输出层节点数），但是公式缺乏一定的理论支持，所以目前最好的方法是通过经验和在学习训练过程中不断的调整隐藏层节点数，最后得到一个合适的网络结构。

　　4.3 基于新理论的算法改进

　　随着对BP网络结构知识的研究，能够更加深刻的理解BP算法误差传递的本质。出现了许多基于新兴理论的BP算法的改进，这种改进方式是结合了其它领域比较成功的优化算法和理论，比如将遗传算法与BP算法相结合，将遗传算法高效的全局寻优能力引入进来，利用GA算法来优化BP算法的权值和阈值，解决BP神经网络存在容易陷入局部极值和收敛速度慢的问题，两种算法的结合实现了各自优势的互补，取得了良好的效果[8]；将粒子群优化算法用于BP神经网络的学习训练，使算法更容易找到全局最优解，具有更好的收敛性[9]。很多研究者还将BP算法与模糊数学理论、小波理论、混沌算法等相结合。这些改进使得BP神经网络得到更进一步的应用。

　　5 小结

　　BP算法是目前在神经网络学习算法中得到最广泛应用的。该文总结了BP算法的原理，针对BP算法中出现的问题，虽然给出了BP算法的改进方法，但还是有很多不足之处。随着科学日新月异的发展，各种新的优化算法不断的提出，BP算法也会得到更广泛的发展。

　　参考文献：

　　[1] 胡彩萍.基于BP神经网络的排序评价算法研究及应用[D].南昌：江西师范大学硕士学位论文，2009.

　　[2] 刘翔.BP算法的改进及其应用[D].太原：太原理工大学硕士学位论文，2012.

　　[3] 张璐璐.基于遗传神经网络的人民币识别方法研究[D].长春：吉林大学硕士学位论文，2009.

　　[4] 张波.DRP决策支持系统及小波网络在其中的应用[D].成都：四川大学硕士学位论文，2006.

　　[5]付海兵，曾黄麟.BP神经网络的算法及改进[J].中国西部科技，2012，11（8）：1671-6396.

　　[6] 周羽.红外图像人脸识别研究[D].大连：大连理工大学硕士学位论文，2007.

　　[7] 杨赛.BP神经网络学习问题的分析研究[D].赣州：江西理工大学硕士学位论文，2009.

　　[8] 杨珍.基于遗传神经网络的铁路危险货物运输风险评价分析与应用研究[D].北京：北京交通大学硕士学位论文，2011.

　　[9] 李澄非，朱群雄.模糊粒子群神经网络算法及应用[J].计算机与应用化学，2007，24（10）：1359-1362.

---

期刊库（http://www.zgqkk.com），是一个专门从事期刊推广、投稿辅导的网站。
　　本站提供如何投稿辅导，寻求投稿辅导合作，快速投稿辅导，投稿辅导格式指导等解决方案：省级投稿辅导/国家级投稿辅导/核心期刊投稿辅导//职称投稿辅导。

---

　　【免责声明】本文仅代表作者本人观点，与投稿辅导_期刊发表_中国期刊库专业期刊网站无关。投稿辅导_期刊发表_中国期刊库专业期刊网站站对文中陈述、观点判断保持中立，不对所包含内容的准确性、可靠性或完整性提供任何明示或暗示的保证。请读者仅作参考，并请自行承担全部责任。