人工神经网络反向传播算法(人工神经网络反向传播算法是什么)
大家好!今天让创意岭的小编来大家介绍下关于人工神经网络反向传播算法的问题,以下是小编对此问题的归纳整理,让我们一起来看看吧。
开始之前先推荐一个非常厉害的Ai人工智能工具,一键生成原创文章、方案、文案、工作计划、工作报告、论文、代码、作文、做题和对话答疑等等
只需要输入关键词,就能返回你想要的内容,越精准,写出的就越详细,有微信小程序端、在线网页版、PC客户端
创意岭作为行业内优秀的企业,服务客户遍布全球各地,如需了解SEO相关业务请拨打电话175-8598-2043,或添加微信:1454722008
本文目录:
一、BP人工神经网络方法
(一)方法原理
人工神经网络是由大量的类似人脑神经元的简单处理单元广泛地相互连接而成的复杂的网络系统。理论和实践表明,在信息处理方面,神经网络方法比传统模式识别方法更具有优势。人工神经元是神经网络的基本处理单元,其接收的信息为x1,x2,…,xn,而ωij表示第i个神经元到第j个神经元的连接强度或称权重。神经元的输入是接收信息X=(x1,x2,…,xn)与权重W={ωij}的点积,将输入与设定的某一阈值作比较,再经过某种神经元激活函数f的作用,便得到该神经元的输出Oi。常见的激活函数为Sigmoid型。人工神经元的输入与输出的关系为
地球物理勘探概论
式中:xi为第i个输入元素,即n维输入矢量X的第i个分量;ωi为第i个输入与处理单元间的互联权重;θ为处理单元的内部阈值;y为处理单元的输出。
常用的人工神经网络是BP网络,它由输入层、隐含层和输出层三部分组成。BP算法是一种有监督的模式识别方法,包括学习和识别两部分,其中学习过程又可分为正向传播和反向传播两部分。正向传播开始时,对所有的连接权值置随机数作为初值,选取模式集的任一模式作为输入,转向隐含层处理,并在输出层得到该模式对应的输出值。每一层神经元状态只影响下一层神经元状态。此时,输出值一般与期望值存在较大的误差,需要通过误差反向传递过程,计算模式的各层神经元权值的变化量
(二)BP神经网络计算步骤
(1)初始化连接权值和阈值为一小的随机值,即W(0)=任意值,θ(0)=任意值。
(2)输入一个样本X。
(3)正向传播,计算实际输出,即根据输入样本值、互联权值和阈值,计算样本的实际输出。其中输入层的输出等于输入样本值,隐含层和输出层的输入为
地球物理勘探概论
输出为
地球物理勘探概论
式中:f为阈值逻辑函数,一般取Sigmoid函数,即
地球物理勘探概论
式中:θj表示阈值或偏置;θ0的作用是调节Sigmoid函数的形状。较小的θ0将使Sigmoid函数逼近于阈值逻辑单元的特征,较大的θ0将导致Sigmoid函数变平缓,一般取θ0=1。
(4)计算实际输出与理想输出的误差
地球物理勘探概论
式中:tpk为理想输出;Opk为实际输出;p为样本号;k为输出节点号。
(5)误差反向传播,修改权值
地球物理勘探概论
式中:
地球物理勘探概论
地球物理勘探概论
(6)判断收敛。若误差小于给定值,则结束,否则转向步骤(2)。
(三)塔北雅克拉地区BP神经网络预测实例
以塔北雅克拉地区S4井为已知样本,取氧化还原电位,放射性元素Rn、Th、Tc、U、K和地震反射
S4井位于测区西南部5线25点,是区内唯一已知井。该井在5390.6m的侏罗系地层获得40.6m厚的油气层,在5482m深的震旦系地层中获58m厚的油气层。取S4井周围9个点,即4~6线的23~25 点作为已知油气的训练样本;由于区内没有未见油的钻井,只好根据地质资料分析,选取14~16线的55~57点作为非油气的训练样本。BP网络学习迭代17174次,总误差为0.0001,学习效果相当满意。以学习后的网络进行识别,得出结果如图6-2-4所示。
图6-2-4 塔北雅克拉地区BP神经网络聚类结果
(据刘天佑等,1997)
由图6-2-4可见,由预测值大于0.9可得5个大封闭圈远景区,其中测区南部①号远景区对应着已知油井S4井;②、③号油气远景区位于地震勘探所查明的托库1、2号构造,该两个构造位于沙雅隆起的东段,其西段即为1984年钻遇高产油气流的Sch4井,应是含油气性好的远景区;④、⑤号远景区位于大涝坝构造,是yh油田的组成部分。
二、因为反向传播算法人工智能进入第二个高潮具体是在哪一年
人工智能的第二次高潮始于上世纪80年代。
人工智能是在1956年达特茅斯会议上首先提出的。该会议确定了人工智能的目标是“实现能够像人类一样利用知识去解决问题的机器”。虽然,这个梦想很快被一系列未果的尝试所击碎,但却开启了人工智能漫长而曲折的研究历程。
人工智能的第一次高潮始于上世纪50年代。在算法方面,感知器数学模型被提出用于模拟人的神经元反应过程,并能够使用梯度下降法从训练样本中自动学习,完成分类任务。另外,由于计算机应用的发展,利用计算机实现逻辑推理的一些尝试取得成功。
理论与实践效果带来第一次神经网络的浪潮。然而,感知器模型的缺陷之后被发现,即它本质上只能处理线性分类问题,就连最简单的异或题都无法正确分类。许多应用难题并没有随着时间推移而被解决,神经网络的研究也陷入停滞。
人工智能的第二次高潮始于上世纪80年代。BP(Back Propagation)算法被提出,用于多层神经网络的参数计算,以解决非线性分类和学习的问题。另外,针对特定领域的专家系统也在商业上获得成功应用,人工智能迎来了又一轮高潮。
然而,人工神经网络的设计一直缺少相应的严格的数学理论支持,之后BP算法更被指出存在梯度消失问题,因此无法对前层进行有效的学习。专家系统也暴露出应用领域狭窄、知识获取困难等问题。人工智能的研究进入第二次低谷。
人工智能的第三次高潮始于2010年代。深度学习的出现引起了广泛的关注,多层神经网络学习过程中的梯度消失问题被有效地抑制,网络的深层结构也能够自动提取并表征复杂的特征。
避免传统方法中通过人工提取特征的问题。深度学习被应用到语音识别以及图像识别中,取得了非常好的效果。人工智能在大数据时代进入了第三次发展高潮。
三、如何理解神经网络里面的反向传播算法
类比来说类似于
几个人站成一排
第一个人看一幅画(输入数据),描述给第二个人(隐层)……依此类推,到最后一个人(输出)的时候,画出来的画肯定不能看了(误差较大)。
反向传播就是,把画拿给最后一个人看(求取误差),然后最后一个人就会告诉前面的人下次描述时需要注意哪里(权值修正)。
四、如何理解神经网络里面的反向传播算法
就是利用了链式求导法则,从后往前,逐层计算cost关于该层参数的梯度。详细的退到可参见:
以上就是关于人工神经网络反向传播算法相关问题的回答。希望能帮到你,如有更多相关问题,您也可以联系我们的客服进行咨询,客服也会为您讲解更多精彩的知识和内容。
推荐阅读: