统计学习理论导论(清华大学张学工讲义)-1new

《统计学习理论导论(清华大学张学工讲义)-1new》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、统计学习理论导论Introductionto第O章StatisticalLearningTheory引言清华大学自动化系张学工zhangxg@tsinghua.edu.cnXuegongZhang1XuegongZhang2TsinghuaUniversityTsinghuaUniversity“Oneyear’sresearchinartificialintelligence统计学习理论isenoughforonetobelieveinGod.”•自然智慧的伟大与奥妙•关于如何建立具有从数据学习的能力并–一个重要方面：从实例学习具有推广能力的机器（学习机器）的理•核心：举一

2、反三----推广能力论•机器智能：希望用机器实现部分智能–基于数据的机器学习问题(ref.AI)•以统计的视角来研究这样的理论和方法根据已知样本估计数据之间的依赖关系，从而对未知或无法测量的数据进行预测和判断•关键：推广能力–本课中：基于数据的机器学习简称机器学习XuegongZhang3XuegongZhang4TsinghuaUniversityTsinghuaUniversity机器学习的基本思路本课主要内容xGSy?My'Syllabus例如：监督模式识别问题分类器设计(训练)信息获取与预处理特征提取与选择分类决策(识别)XuegongZhang5XuegongZha

3、ng6TsinghuaUniversityTsinghuaUniversity1选课事项传统机器学习方法回顾•特点：•模式识别方法（统计模式识别）•课程内容较新，自主性学习比例大–用统计的基本原理解决模式识别问题•作业、考查以报告(或实验)为主–基于模型的方法：•希望能与论文课题密切结合•贝叶斯决策•概率密度的估计•成绩：–直接方法：–作业•线性判别：Fisher线性判别、感知器、MSE…–期末大作业+口头报告•非线性判别（二次、分段线性）、广义线性判别•近邻法•课代表：凡时财(fsc03@mails.tsinghua.edu.cn)XuegongZhang7XuegongZ

4、hang8TsinghuaUniversityTsinghuaUniversity传统机器学习方法回顾(续)ArtificialNeuralNetworks•人工神经网络•Thenamereflects:–多层感知器MLP（BP算法）–theefforttoapproachmathematicmodelsfor–RBF网络naturalnervoussystems–…–theefforttoimplementman-madeintelligence•基于知识的方法•ThreetypesofNN:–FeedforwardNN–FeedbackNN–CompetitiveLear

5、ning(Self-organizing)NNXuegongZhang9XuegongZhang10TsinghuaUniversityTsinghuaUniversityFeedbackNNFeedforwardNN----HopfieldNet•ModelofasingleneuronMajorApplications:•Optimization•AssociateMemoryCompetitiveLearningNN----Self-OrganizingMap(SOM)McCulloch-PittsModel(1943)MajorApplication:(Thresho

6、ldLogicUnit-TLU)•UnsupervisedLearning(Clustering)ny=sgn(∑wixi+w0)XuegongZhang11XuegongZhangi=112TsinghuaUniversityTsinghuaUniversity2LinearDiscriminantandPerceptronNetworkingtheneurons:ny=sgn(∑wixi+w0)Multi-layerPerceptron(MLP)i=1•PerceptronAlgorithm:•Totacklenonlinearproblems,usemultiple–a

7、ssumption:(layered)neurons•Linearlyseparable–objectivefunction•Minimizeerror(tozero)–algorithm:gradient-decreasing–convergetoasolutionwithinlimitediterations–ThesimplestmachinethatcanlearntoclassifyXuegongZhang13XuegongZhang14TsinghuaUniversityTsinghuaUn