基于核方法的手写体数字识别研究

《基于核方法的手写体数字识别研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、南京理工大学硕士学位论文基于核方法的手写体数字识别研究姓名：魏兴国申请学位级别：硕士专业：模式识别与智能系统指导教师：杨静宇20030101硕士论文基于核方法的手写体数字识别研究摘要基于核的学习算法由于其坚实的理论基础、优良的性能表现在最近几年中得到了机器学习界的广泛关注。本文首先从数学上形式化地讨论了核函数的基本理论及其性质，然后着重讨论了支持向量机与核Fisher鉴别两种基于核的学习算法及其在手写体数字识别中的应用。本文在对支持向量机训练算法，特别是SMO算法进行深入分析的基础上，提出了一种改进的分解算法GD，较好地解决了训练过程中子问题

2、的求解复杂度和迭代次数及效率之间的矛盾，实验表明，该算法能够大大缩短非线性核支持向量机的训练时间；经典的支持向量机仅针对两类分类问题，本文提出并实现了几种多类别分类策略，并针对数字识别对它们的实际效果进行了比较：问题域的先验知识是改善分类器性能的重要途径，本文针对数字识别中平移和小角度旋转的不变性，实现了在支持向量机中融入先验知识：本文利用核技巧，将Fisher线性鉴别及统计不相关的鉴别矢量集推广到核空间的情形。对数字识别的实验表明，该方法能够取得与支持向量机几乎相同的效果。关键词：手写体数字识别，核函数，特征空间，统计学习理论，支持向量机，

3、先验知识，核Fisher鉴别分析硕士论文基于核方法的手写体数字识别研究AbstractKernelbasedlearningalgorithmshavegainedmoreandmorepopularityinthemachinelearningcommunityforitssolidfoundation，promisingperformanceinrecentyears．Inthisarticle，kernelfunctionsareformallydiscussedinmathematicaltermsandtwoofthekernelb

4、asedlearningalgorithms：SupportVectorMachine(SVM)andKernelFisherDiscriminantAnalysis(KFD)ateintroducedandappliedtohandwrirtendigitsrecognition．BasedonanalysisandcomparisonoftheexistingSVMtrainingalgorithms，especiallySMO，areviseddecompositionalgorithmnamedGDisproposed．Itbalan

5、ceswellbetweenthescaleofthesubquadraticprogrammingproblemandtheefficiencyandtimesofiteration．ExperimentshowsthatitcansubstantiallyreducethetrainingtimeofSVMwithnonlinearkernels．ClassicSVMcanonlydealwithtwo—classproblems，inthisarticleseveralschemesformulti-calssproblemsarepr

6、oposedandappliedtohandwrittendigitsrecognition．Priorknowledgeabouttheproblemdomainisallimportantwaytoimprovetheperformanceoftheclassifier．Inthisarticle，animplementationofincorporatingpriorknowledgeintoSVMisprovided．whichiswimrespecttotheinvarianttransformationsoftranslation

7、androtationofliUleangleinimagesofdigits．Basedonkerneltrick，theclassicFisher’slineardiscriminantanalysisandstatisticaluncorrelateddiseriminantanalysisaregeneralizedtokernelspace．ExperimentonhandwrittendigitsshowsthatitperformsaswellasSVM．Keywords：handwrittendigitsrecognition

8、，kernelfunction，featurespace，StatisticalLearningTheory(SLT)，SuppoaVectorMachine(SV