关于机器学习的线性回归与正则化的基础.doc

《关于机器学习的线性回归与正则化的基础.doc》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、.毕业论文题目机器学习之线性回归及其正则化学院理学院专业信息与计算科学年级班级姓名黄剑华学号指导老师职称2017年6月..机器学习之线性回归及其正则化【摘要】机器学习是计算机具备智能的基本途径，其最重要的核心为人工智能，对机器学习的运用遍布着人工智能的诸多领域，线性回归问题在监督机器学习的范畴之内。线性回归问题中，训练数据对未知数据的推测与模拟，即泛化能力可能不是很好，或者训练数据量不够，无法对训练数据集很好地回归分析，这时须要提高泛化能力，正则化便是提高泛化能力办法之一。正则化线性回归问题在于最小化误差

2、的同时正则化参数，即模型拟合训练数据的同时，又须要制止模型过分地拟合训练数据，这样才具有良好的泛化性能。本文阐述了线性回归两种常见方法，梯度下降法与最小二乘法及其对应的正则化方法。通过数值模拟试验直观的理解线性回归及其正则化，及如何确定适合的正则化参数。【关键词】线性回归模型梯度下降法最小二乘法正则化线性回归正则化参数..Linearregressionandregularizationinmachinelearning[Abstract]Machinelearningisthecoreofartific

3、ialintelligence.Itisafundamentalwayofintelligentcomputer,itsapplicationsacrossallareasofartificialintelligence,thelinearregressionproblembelongstothecategoryofsupervisedmachinelearning.Inlinearregressionproblem,speculationandsimulationtheunknowndatafromtr

4、ainingdata,inotherwords,thegeneralizationabilitymaynotbeverygood,mayalsobetheamountoftrainingdataistoosmall,notenoughtoregressionanalysisofthetrainingdataset,soitisnecessarytoimprovethegeneralizationabilityofthemodel,regularizationisamethodtoimprovethegen

5、eralizationability.Regularizedlinearregressionproblemistominimizetheerrorofsimultaneousregularizationparameters,minimizetheerroristoletthemodelfittingthetrainingdataandtheregularizationparameteristopreventthemodeloverfittingthetrainingthedata,soithasgoodg

6、eneralizationperformance.Thisarticleintroducestwomethodsoflinearregression,gradientdescentmethodandleastsquaremethod,aswellascorrespondingregularizationofthemethods.Throughthenumericalsimulationtest,wecanintuitiveunderstandthelinearregressionandregulariza

7、tion,andhowtochoosetheappropriateregularizationparameter.[Keywords]LinearregressionmodelGradientdescentmethodLeastsquaremethodRegularizedlinearregressionRegularizationparameter..目录引言11.线性回归21.1.线性回归模型21.2.梯度下降法31.2.1.梯度下降法求解线性回归模型31.2.2.学习速率31.2.3.特征缩放41.

8、3.最小二乘法41.4.梯度下降法与最小二乘法的比较52.正则化线性回归62.1．欠拟合、过拟合及正则化62.1.1.欠拟合62.1.2.过拟合62.1.3.正则化62.2.基于梯度下降法的正则化72.3.基于最小二乘法的正则化82.4.关于正则化参数的选择93.数值模拟试验93.1.初步建立线性回归模型93.2.偏差与方差之间的权衡123.3.正则化线性回归模型143.4.正则化参数的选择16结论21致谢语22[参考文献]2