优化视角下的神经网络及支持向量机建模方法

《优化视角下的神经网络及支持向量机建模方法》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、优化视角下的神经网络及支持向量机建模方法信息科学与工程学院Part1建模过程的实质part2神经网络及支持向量机建模part3结论与未来方向OutlinePart1建模过程的实质对于某一研究对象，用数学中的函数来描述这一对象的特征。两个基本问题：(1)插值问题(2)拟合问题Part1建模过程的实质Part2神经网络及支持向量机建模（1）神经网络神经网络的种类：感知器线性神经网络BP神经网络径向基网络竞争型神经网络自组织神经网络反馈神经网络(Elman和Hopfield神经网络等)自定义网络BP网络为例Part2神经网络及支持向量机建模BP网络是复杂工

2、业过程建模中应用最为广泛的神经网络之一。Part2神经网络及支持向量机建模均方误差准则（MSE）其中N表示训练样本的个数。每一个神经元的输出对确定的网络结构和激活函数，网络训练就是求最优权值和阈值。最速下降法动量BP算法Part2神经网络及支持向量机建模BP网络理论：BP网络可以任意逼近非线性函数，也即可以使训练误差任意小。最优化理论：目前还没有一种优化算法能判断所求目标函数为全局最优。？？？基于梯度的局部搜索算法为什么会有这种能力？Part2神经网络及支持向量机建模优化视角下的BP网络问题目标函数：决策变量：理想值下的目标函数变形Part2神经网络

3、及支持向量机建模问题描述：N个输入样本，n个输出，m个输入，第一隐含层神经元数目h1，第二隐含层神经元数目h2。其中，G表示代替整个网络的函数。从宏观意义上看，这是具有(h1*m+h1)+(h2*h1+h2)个决策变量，N*n个等式的方程（优化问题中的等式约束优化问题）。Part2神经网络及支持向量机建模等式约束优化问题理论：对于含有R个决策变量，T个方程的问题(1)如果R<=T,那么此问题变成极小范数问题。(2)如果R>T,那么此问题变成不定方程问题，有无数可行解。定义的目标函数实际上是上述等式约束优化问题的假象。在各类参考书中有关神经网络的众多例

4、子均是第（2）类问题。Part2神经网络及支持向量机建模这也充分解释了为什么神经网络在训练的时候可以达到任意精度，前提条件是网络层数与神经元数目足够多，也即权值和阈值变量个数大于等式方程个数。神经网络被称为黑箱模型，实际上并不神秘，将优化好的网络权值和阈值代入到网络中，连同激活函数，实际上是可以写成显式结构的，只不过形式异常复杂而已。为什么有些神经网络能够逼近工业实际过程？只能说明该工业过程本身就可以通过激活函数的组合形式来描述。它具备logsig或tansig函数的结构。Part2神经网络及支持向量机建模（2）支持向量机来源于分类问题问题描述：给定

5、数据集，能否找到超平面，对给定数据集分类。f(x,w,b)=sign(w.x-b)Part2神经网络及支持向量机建模两个观点：总可以将低维空间非线性可分问题映射到高维空间，使其在高维空间中可分。最大化裕量可以最小化泛化误差。数学描述：H1平面：H2平面：两超平面之间的距离（几何裕量）将极大化间隔变成极小化问题。Part2神经网络及支持向量机建模优化问题的对偶理论极小极大值定理(minmaxtheorem):Part2神经网络及支持向量机建模Part2神经网络及支持向量机建模Part2神经网络及支持向量机建模非线性分类Transformx(x)Pa

6、rt2神经网络及支持向量机建模优化视角下的支持向量机问题支持向量机的理论千头万绪，但类似BP神经网络的分析方法，不难得出，支持向量机，与BP神经网络相比，不同的是它是含有确定2l决策变量的l个不等式约束的优化问题，是个十足的不定方程问题。它能够逼近工业实际过程的原理与BP神经网络类似。Part2神经网络及支持向量机建模BP神经网络与支持向量机的比较：（1）BP神经网络是等式约束方程的优化问题，支持向量机是不等式约束方程的优化问题。（2）BP网络在某些情况下可以求得极大范数解，支持向量机问题永远是个不定方程问题。（3）从函数族中找出一个函数逼近实际问题

7、，BP算法和支持向量机的采用基于梯度的算法恰好为此提供了良机，因为它是局部搜索算法，能在某个局部空间找到优化逼近函数。但这种概率是很小的，这也是神经网络和支持向量机为什么十分看重权值和阈值的初始化问题，同时也解释了它们泛化能力差的原因。（4）神经网络和支持向量机中的激活函数和核函数，才是逼近问题的关键所在，它就是数据插值问题中的基函数问题。Part3结论与未来方向神经网络和支持向量机有着复杂的机理描述，但从优化视角下看，存在着很大不足，它们对逼近实际工业过程并没有实际的指导意义，只是数学上的花招。为此，未来建模问题研究的方向应从以下几个方向入手对训练

8、和测试都良好的网络，说明采用的激活函数能反映实际工业过程，将庞大的网络化成简单的形式才能体现它真正的价值。采