基于svm的时间序列预测

《基于svm的时间序列预测》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、基于SVM的时间序列预测吴海山eshan110@gmail.comHomepage:http://eshan110.googlepages.com报告大纲1.时间序列预测的意义2.时间序列预测的常见方法和缺陷3.支持向量机(SVM)的背景和基本原理4.SVM的在时间序列预测中的应用5.组合的SVM时间序列预测方法6.今后的工作时间序列预测的意义几个实例：（1）根据历史煤炭需求量来预测将来的煤炭需求量，可以预测将来的能源结构，调整能源结构（2）预测矿井表面瓦斯涌出量可以有效判断瓦斯变化趋势，从而减少灾难发

2、生（3）预测将来电力负荷值，可以合理安排发电机组，获取更好的经济效益科学、准确的时间序列的预测方法最为关键常用的预测方法基本方法自回归、移动平均法、指数平滑法等高级方法灰色系统、混沌预测、神经网络预测以及改进模型如模糊神经网络、小波神经网络等，其中神经网络预测方法的应用非常普遍神经网络固有的一些缺陷1.网络结构难以确定2.容易陷入局部最优3.采用了经验风险最小化原则（ERM），即用经验风险取代期望风险：根据概率论中的大数定理，只有当样本数目趋向无穷时，经验风险才趋向于期望风险支持向量机支持向量机，Sup

3、portVectorMachines,SVM可以避免以上缺陷：1.将问题转化为二次规划问题，理论上可以得到全局最优解2.建立在统计学的VC（Vapnik-ChervonenksDimension）维理论和结构化风险最小化原则(StructuralRiskMinimization,SRM)的基础上，有效地避免了维数灾3.可以较好地解决小样本问题支持向量机的背景和原理背景支持向量机（SupportVectorMachines,SVM)是基于统计学习理论(StatisticalLearningTheory或S

4、LT)的一种新型机器学习方法,它由V.Vapnik等在1992年提出。随着SLT理论的不断完善，SVM也越来越受到人们的重视，目前，SVM算法在模式识别、回归估计、概率密度函数估计等方面都有应用。支持向量机用于分类如下图的二分类问题，可以看作在特征空间的分类：wTx+b=0wTx+b<0wTx+b>0f(x)=sign(wTx+b)线性可分如何分类是最优？最优分类平面H为分类线，H1、H2分别为过各类中离分类线最近的样本且平行于分类线的直线，它们之间的距离叫做分类间隔。所谓最优分类线，就是要求分类线不但

5、能将两类正确分开（训练错误率为0），而且使分类间隔ρ最大rρH2H1H支持向量最优分类平面（续）如果所有数据点距离最优分类平面的距离都大于1，即可以实现正确分类，则对于数据点{(xi,yi)}，满足下式对于每一数据点，距离分类平面的距离为：，对于支持向量来说，上面不等号改为等号。则分类间隔为：:wTxi+b≥1ifyi=1wTxi+b≤-1ifyi=-1最优分类平面（续）由于最佳分类平面的ρ最大，则问题可转化为:上式还可表达为：寻找w和b使得:最大;并对所有数据点{(xi,yi)}有wTxi+b≥1if

6、yi=1;wTxi+b≤-1ifyi=-1Min½wTw;St.yi(wTxi+b)≥1最优分类平面（续）当因噪声等原因，会出现分类错误。此时，引入松弛变量ξi；从而可以实现有噪情况下的分类ξiξi松弛变量ξi可以看作是错误分类产生的误差最优分类平面（续）原来的表达式:引入松弛变量后的表达式:参数C用来调节正则化和经验风险部分之间的平衡，还可以看作是对错误分类点的惩罚参数Min½wTw+CΣξiSt.yi(wTxi+b)≥1-ξiξi≥0Min½wTw;St.yi(wTxi+b)≥1线性不可分如果对给定

7、的数据点不能用直线分类时，?0x2x0x线性不可分（续）解决线性不可分的一般方法：将原数据集影射到高维特征空间，从而实现线性可分：x→Φ(x)线性不可分（续）Min½wTw+CΣξiSt.yi(wTxi+b)≥1-ξiξi≥0Min½wTw+CΣξiSt.yi(wTΦ(xi)+b)=1-ξi影射到高维特征空间后，约束表达式变为：支持向量机用于回归对于线性可回归的数据集{xi,yi}，SVM回归函数表达式为:式中，L为损失函数。这里选用不敏感损失函数，其表达式为：f(x)=wTx+b系数w和b通过最小化

8、下式得到支持向量机用于回归（续）对于回归错误的数据点，同样也引入松弛变量。将不敏感损失函数代入求得w和b的最小化式中，可得到：在求解上式时，一般采用对偶理论，把它转化成二次规划问题f(x)=wTx+b支持向量机用于回归（续）建立拉格朗日方程：在极值处，上式对求偏导为零:从而得支持向量机用于回归（续）化简后，可得原约束表达式的对偶式：同样，当数据集不能实现线性回归时，仍将原数据集通过一非线性影射，影射到一高维特征空间，在高维特征空间中进行线