高级分布式系统-第15讲 分布式机器学习--神经网络理论

发布时间:2024年01月15日

神经网络理论

模糊控制在处理数值数据、自学习能力等方面还远没有达到人脑的境界。人工神经网络从另一个角度出发,即从人脑的生理学和心理学着手,通过人工模拟人脑的工作机理来实现机器的部分智能行为。

人工神经网络(简称神经网络,Neural Network)是模拟人脑思维方式的数学模型。神经网络是在现代生物学研究人脑组织成果的基础上提出的,用来模拟人类大脑神经网络的结构和行为。神经网络反映了人脑功能的基本特征,如并行信息处理、学习、联想、模式分类、记忆等。

(1)能逼近任意非线性函数;

(2)信息的并行分布式处理与存储;

(3)可以多输入、多输出;

(4)便于用超大规模集成电路(VISI)或光学集成电路系统实现,或用现有的计算机技术实现;

(5)能进行学习,以适应环境的变化。

单神经元网络

常用的神经元非线性特性有以下几种:

BP神经网络

误差反向传播神经网络,简称BP网络(Back Propagation)

含一个隐含层的BP网络结构,图中 i为输入层神经元, 为隐层神经元, k为输出层神经元。

用于逼近的BP网络

BP算法的学习过程由正向传播和反向传播组成。

在正向传播过程中,输入信息从输入层经隐层逐层处理,并传向输出层,每层神经元(节点)的状态只影响下一层神经元的状态。

如果在输出层不能得到期望的输出,则转至反向传播,将误差信号(理想输出与实际输出之差)按联接通路反向计算,由梯度下降法调整各层神经元的权值,使误差信号减小。

优缺点

BP网络的优点为:

(1)只要有足够多的隐层和隐层节点,可以逼近任意的非线性映射关系;

(2)BP网络的学习算法属于全局逼近算法,具有较强的泛化能力;

(3)BP网络输入输出之间的关联信息分布地存储在网络的连接权中,个别神经元的损坏只对输入输出关系有较小的影响,因而BP网络具有较好的容错性。

BP网络的主要缺点为:

(1)待寻优的参数多,收敛速度慢;

(2)目标函数存在多个极值点,按梯度下降法进行学习,很容易陷入局部极小值;

(3)难以确定隐层及隐层节点的数目。目前,如何根据特定的问题来确定具体的网络结构尚无很好的方法,仍需根据经验来试凑。

文章来源:https://blog.csdn.net/weixin_50917576/article/details/135604607
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。