模式识别高级专题－第3讲－集成学习理论与方法

《模式识别高级专题－第3讲－集成学习理论与方法》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、模式识别高级专题(3)－－集成学习理论与方法EnsembleLearningTheoryandMethods徐昕国防科技大学23RegressionTaskshttp://www.niaad.liacc.up.pt/~ltorgo/Regression/DataSets.htmlElevatorsDeltaElevators2DplanesPoleTelecommFriedmanArtificialDomainMVArtificialDomainKinematicsofRobotArmComputerActivity(2)Cen

2、susdomains(2)AutoMPGAutoPriceBostonhousingDiabetesPyrimidinesTriazinesMachineCPU4BostonHousingThisdatasetconcernsthetaskofpredictinghousingvaluesinareasofBoston.Theusedvariablesandtheirmeaningarethefollowing:1.CRIMpercapitacrimeratebytown2.ZNproportionofresidential

3、landzonedforlotsover25,000sq.ft.3.INDUSproportionofnon-retailbusinessacrespertown4.CHASCharlesRiverdummyvariable(=1iftractboundsriver;0otherwise)5.NOXnitricoxidesconcentration(partsper10million)6.RMaveragenumberofroomsperdwelling5考核要求大作业(1月5日前将各人的选题返回，说明存在的困难)xin

4、xu@nudt.edu.cn或者给邓剑文(13787418900)形式1：模式识别与机器学习的前沿专题报告，要求有较宽的覆盖面与系统性，25篇以上参考文献，要求全部引用，50％文献为02年以后，50％以上为期刊论文举例：集成学习的研究进展与问题分析举例：ICA的研究概况举例：人脸识别的研究进展与发展趋势举例：视频图像中的模式识别技术形式2：模式识别与机器学习的前沿读书报告(10篇以上参考文献)＋实验报告＋源程序(Matlab或者C++)＋数据SVM、PCA与人脸识别＋人脸识别实验SVM与文本分类＋Reuters-21578实验核

5、方法与时间序列预测＋通用回归数据实验集成学习与高精度分类＋通用分类数据实验6课程考核要求参考选题：专题报告部分集成学习的研究进展与问题分析ICA算法、理论与应用的研究概况基于隐马氏过程与增强学习的模式识别技术机器人障碍识别中的模式识别与机器学习技术核方法与核机器学习的研究进展文本自动分类与聚类的研究人脸识别的研究进展与发展趋势生物特征识别的研究前沿视频图像中的模式识别技术生物信息学中的模式识别技术网络与信息安全中的模式识别技术网络与移动计算系统中的模式识别与机器学习7课程考核要求参考选题：读书报告＋实验报告(源程序+数据)部分S

6、VM、PCA与人脸识别＋人脸识别实验SVM与文本分类＋Reuters-21578实验决策树集成学习与文本分类+Reuters-21578实验HMM、RL与主机入侵检测实验集成神经网络与KDD99入侵检测实验核方法与时间序列预测＋通用回归数据实验集成学习与高精度分类＋通用分类数据实验神经网络集成＋文本分类或者通用分类实验8ContentsConceptsofEnsembleLearningBasicInductiveLearningMethodsDecisionTreeID3EnsembleLearningAlgorithmsBa

7、ggingBoostingSomeapplications9part1.Whatisensemblelearning?Ensemblelearningreferstoacollectionofmethodsthatlearnatargetfunctionbytraininganumberofindividuallearnersandcombiningtheirpredictions[Freund&Schapire,1995]10EnsembleLearningINTUITION:CombiningPredictionsofane

8、nsembleismoreaccuratethanasingleclassifier.Justification:(Severalreasons)easytofindquitecorrect“rulesofthumb”howeverhardtofindsingl