序列最小二乘技术在联想记忆网络训练中的应用

《序列最小二乘技术在联想记忆网络训练中的应用》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、维普资讯http://www.cqvip.com第25卷第1期福州大学学报(自然科学版)V0l-25No．1Journa1ofFuzhouUnivcrshy{NaturalSc眦序列最小二乘技术在联想记忆网络训练中的应用}1^Z3竖丝．}Pil(福州大学计算机科学与技术系，福州，350002)^擅要本文把联想记忆弼络中要全部记住一组训练样本的克要条件的求解等价地转化为一组混合不等式方程组的求解阃题，并采用序列最小二乘技术求解．所得到的用络具有记忆稳定状态能力高的特点．关键词联想记忆；最小二乘：不等式；方程纽联想圯7乙同鳄驯练辩年

2、t引言最小二乘寸j《术，考虑月个神经元组成的二值H0pneld网⋯用(1)表示第f个神经元在l时刻的状．态，那么整个网络在l时刻的状态就可表示为(1)=(f)'x2(1)．⋯，．(f))，而在f+I时刻网络状态x(t+1)是由下列演化规则决定的：(I+1)=I∑W“X)(i=1，2，⋯，)’、-1其中：senc：={一翟W是第单元输人第价单元的权值；r，是第价单元的阈值．对于上述联想神经网来说，若不考虑神经元的阈位，输入的训练样本=(，s：⋯，：)是稳定态的充要条件是：对fe(1．2，⋯，一)．有∑(卢；)≥0(As=埘)∑()

3、>0(当=一l时)-L令：=(，W，⋯．W)eR，A一(，：，⋯，：)ER，这样S为稳定状态的充要条件可进一步表示为：f()W．≥0(当=i，Vie~l，2，⋯，H})l()Wi>o(当=一1，fef1，2，⋯，})由此可得．输入的m个训练样本’S，⋯，均为稳定态的充要条件是本文收到日期：1996—06一I7叶东毅，男，1964年出生．剐教授本研究得到福建省自然科学基金资助，，i维普资讯http://www.cqvip.com·2O·橱州大学学报(自然科学版)第25卷对fef1，2，⋯，)有AWj≥。‘当¨时--'⋯·f2)￡W

4、I>of当=一l时．P=l-2．⋯，卅)‘f其中。。=(，A．⋯，A)。或{己S=(’．S，⋯S)∈Rmxm，工=diag(S。S。⋯。)∈R⋯，则有：AI=LI‘S(3)这样，联想神经网络要记住m个训练样本的权值学习问题就等价地转化为对个不等式方程组(2)的求解．近年来．陆续有人将优化技术}来解决上述充要条件所对应的混合不等式方程组．例如，文献[2】中采用带约束的罚函数法，文献【3】采用椭球算法取得了良好的效果但这些方法主要针对充分条件AW>0来处理。因此还不够完备．本文针对充要条件，应用序列最tJ~-乘技术求解．所得到的网络

5、具有较高的质量。且算法的终止条件易于判断．2本文的学习算法令，!(n，Bn·⋯·)∈·且当S=I时，≥0，当S=一I时，B>0。P=I，2，QQm$，，1．不难看出．若下列等式方程组：AWI—BfV∈fI。2，ooo$*}(4)I有解，则它必为不等式方程组(2)的一个解；反之．若不等式方程组(2)有解，则必存在B，使为(4)的解．本文算法的主要思想是：对每一个∈fI，2．⋯，}。把对混合不等式方程组AW，．≥(>)O的求解转化为等式方程组AW。=靠ff≥0)的求解问题(对适当选择的，)．并提出一种基于序列最小二乘技术的求解算法．

6、首先讨论如何求m×n线性方程组A。W。=B，为便于叙述．简己为AW=B．设A∈R?作奇异值分解。A：UDV其中：D=：]，∑=da，：，⋯。，；为m阶正交矩阵：为阶正交矩阵：．=≥2≥⋯≥2是ATA．也是AA的非零特征值全体．l，记的一，广义逆为，那么而，，l×n方程组AW=的最小二乘问题的通解为：W=AB+(，一A)(ER维普资讯http://www.cqvip.com第1期叶东觳等：序列最／b-'乘技术在联想记忆网络训练中的应用·21·而工2范致最小的解为’．对每个E『1．2。⋯。月}。本文求解不等式组(2)的算法如下：1)

7、置k=0，置丑的初值曰(0)E{0，l】，当S=l时．(0)。暑0；当S=一1时，【0)．一1；2)E{k)=()一()，进行以下迭代。直到E(k)≥0或E))0，W)为不等式组(2)的解．否则，不等式组(2)无解．3算法的收敛性定理1对问题口：A1W≥0A2>0其中：．E’¨．，E¨．WeR，问题6：AW—B其中：一(：)，WeR',B=(：)．≥。ce，

8、：。ceR．设为问题6的最小二乘解集中￡2范数最小解．1)若=W0一B≥0·那么Wo也为问题d的解2)若￡一A一B(0，那么问题a无解．证明I)简单可证．2)采用反证法．若问题d有解，那么有满足AlW≥0A2W>0记W’一W+W，V>0．那么AW暑AW+"cAW