资源描述：
《基于解释的人工神经网络集成学习方法_陆玉昌》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。
1、清华大学学报(自然科学版)16/201995年第35卷JournalofTsinghuaUniversity(Seieeh)590~95页&T第期第基于解释的人工神经网络集成学习方法,陆玉昌吴锐清华大学计算机科学与技术系:,文摘基于知识的人工神经网络是集成学习方法领域中最主要的研究方向它利用领域知识决定神经网络的初始拓扑结构和联接权值的设置。一方面利用领域知识加速了网络的学,,习另一方面利用神经网络的鲁棒性减少了领域理论不完善和数据噪声的影响从而较好的。、解决了不完善领域理论的学习问题本文对这方面的几个主要系统KBANNRAPTURE进行了分析和
2、评价,指、出了它们在网络拓扑结构的动态改变深层网络的加速学习和结果网络到规,则的转译等方面的弱点并因此提出了一种有效的集成学习方法基于解释的人工神经网。—络:;;关键词集成学习方法人工神经网络解释学习:分类号TP18,,传统的符号学习方法在实际应用中由于领域知识的不完善和数据噪声等多方面的影响,,很大程度上限制了它的学习效果而且符号学习方法由于它自身的特点很难克服上述的弱点。人工神经网络在这方面有着符号学习所无法比拟的优点,有很强的对数据噪声的抗干扰能,。,,:,力有着广泛的应用范围同时与符号学习相比它也有自身的弱点要求大量的训练例学,,。,习时
3、间长无法利用领域知识且学习结果难以给出逻辑的解释由于以上的特点在符号和,口联接学习相结合的学习方法这个研究方向上人们首先选择的突破是利用集成的学习方法实现在不完善领域理论和数据噪声下的学习问题。1相关工作1.1基于知识的人工神经网络KBANN,noee一asertieiaeuraetors[‘2口KBANN(KwldgBdAfilNlNwk)的学习方法利用不完善的领,,域理论和带有噪声的数据进行解释学习产生一种近似正确的解释结构(规则树)利用该解,,、。释结构构造初始神经网络而后进行BP算法的训练最后形成正确的表示目标概念的网络,、。由于神经网络
4、表示能力的限制KBANN目前仅适于非递归的命题逻辑的领域理论其算法的流程如图1所示。K。BANN学习方法的关键是规则到神经网络的转译它将解释学习的结果形成的初始解),,,释结构(规则树转译成网络初始形状和设置相应的权值而后进行神经网络的学习所以它是联系解释学习和人工神经网络学习方法的中介。:1一一收稿日期9941225,:陆玉昌等基于解释的人工神经网络集成学习方法Inaues-taalalnitilRlol址tilNeurTredL的n犯in卜犯t认心rkN七alur一一eoaati勺四。rk1五ryTrnslonNeainiE次aesTrngm
5、Pl一一一一一一州~一一习图1KBANN的信息流程1·2RAPTURE系统evsroxaeroaseeoresseosres.oRAPTURE(RiingAppimtpbbilitiThiUingRpitoifpleS巨3丑Exam)系统是一种用符号和联接学习相结合的方法来修正非确定性推理规则集的参数。,,和结构的学习系统首先将初始规则集映射成相应的网络结构由规则的置信度(CF)决定联。,接的权值RAPTURE系统不采用传统人工神经网络的输入和输出函数而是根据置信度,,x,xCF的特点接照置信度规则的求和方法对于输入激励为和y相应的输出函数为+y
6、一。,xy在网络的初始结构确定之后利用修改后适于置信度输出的函数的误差反传算法CFBP训。,;否则利用ID3选取环境特征的信息嫡准则练网络若例子均成功分类则结束添加新的环境输入节点再进行训练。最后,经训练的分类正确的网络,由于置信度与权值的对应关系,所以。,。易于解释可用转译成规则修正原有的规则集2基于解释的人工神经网络EBANN:1)深。现有系统有待解决与提高的问题主要包括层网络规模现有系统建立的初始神经网络是规模复杂的深层网络。2)网络拓扑结构的改变。现有系统在网络拓扑结构的动态改变方面的能力很弱。3)对训练后的网络的解释和对原领域理论的修正
7、。xplanation一aserteaeuraetor基于解释的人工神经网络EBANN(EBdAifiilNlNwk)学习方,。法在上述的几个方面做了初步的探讨提出了一些改进方法2.1问题的背景。,EBANN的领域理论是确定性推理规则集由于前向多层神经网络的表示能力所限只有,非逆归的命题逻辑规则才能有效的转译成神经网络的结构所以系统的领域理论要求是非逆归的命题逻辑的规则集。,,在领域理论的完善性方面由于实际问题中的领域理论大都是不完善的专家很难给出完全正确的完善规则集。基于知识的人工神经网络学习方法也是针对解决不完善领域理论的学习而提出的。因而,
8、问题的领域理论是不完善的。但另一方面,在充分利用领域知识的学习,,,,系统中若领域理论错误太多以至于对学习目标概念不但没有指导作用反而起
