最新机器学习入门：回归问题幻灯片.ppt

《最新机器学习入门：回归问题幻灯片.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、机器学习入门：回归问题人类学习过程认知模仿，实践反馈再认知？机器学习就是让计算机从大量的数据中学习到相关的规律和逻辑，然后利用学习来的规律来进行决策，推理和识别等。什么是机器学习？测试数据发现规律测试结果评估规则邮件XiYi：垃圾or正常发件人邮件地址异常；标题含有“低价促销”…”回归“的由来英国人类学家F.Galton首次在《自然遗传》一书中，提出并阐明了“相关”和“相关系数”两个概念，为相关论奠定了基础。其后，他和英国统计学家KarlPearson对上千个家庭的身高，臂长，拃长（伸开大拇指与中指两端的最大

2、长度）做了测量，发现了一种现象。回归问题应用场景回归分析属于有监督学习，简单有效，应用十分广泛：一个简单的例子回归分析回归分析研究的主要是因变量（目标）和自变量（经验）之间的依存关系。按关系类型，又可分为线性回归分析和非线性回归分析。学习过程如下：理想的拟合直线LinearRegression最小二乘算法最小二乘算法选择“最优回归方程”回归方程中包含的自变量个数越多，回归平方和就越大，残差平方和越小，预测值的置信区间也越小。既要选择对预测影响显著的自变量，又要使回归的损失很小，这样才有利于预测。选择“最优回归

3、方程”的方法有：最优子选择法（bestsubsetselection）逐步选择法（stepwiseselection）Bestsubsetselection最优子集选择法（bestsubsetselection），即对n个预测变量的所有可能组合（共有2n-1）分别进行拟合，然后选择出最优模型。StepwiseSelection逐步选择法按选择方式的不同，共分为三种：前向逐步选择法（ForwardStepwiseSelection）后向逐步选择法（BackwardStepwiseSelection）逐步回归法（

4、StepwiseRegression）基于最优子集回归方法的一些缺陷，逐步选择的优点是限制了搜索空间，从而提高了运算效率。ForwardStepwiseSelection以零模型为起点，依次往模型中添加变量，直至加完所有的变量。但每次优先将能够最大限度地提升模型效果的变量加入模型。但无法保证找到的模型是所有2n-1个模型中最优的，且可能在前期将后来变得多余的变量纳入模型。模型个数：[n(n+1)/2]+1BackwardStepwiseSelection以全模型为起点，逐次迭代，每次移除一个对模型拟合结果最不

5、利的变量。需满足样本量m大于变量个数n（保证全模型被拟合）。而前向逐步选择即时在m

6、严重程度”。损失函数（lossfunction）平方损失函数（quadraticlossfunction）：对数损失函数（logarithmiclossfunction）:指数损失函数（exp-lossfunction）:梯度下降算法梯度下降法：是一种优化算法，通常也称为最速下降基本思想：在下山时，如果想以最快的方式到达山底，应该沿着山势最陡的方向，也即山势变化最快的方向。同样，如果从任意一点出发，需要最快搜索到函数的最小值，那么也应该从函数变化最快的方向搜索而函数变化最快的方向就是函数的负梯度方向梯度下降算

7、法损失计算方法批量梯度下降法（BGD）：是梯度下降法最原始的形式，在更新每一参数时都使用所有的样本来进行更新。随机梯度下降法（SGD）：它的具体思路是在更新每一参数时都使用一个样本来进行更新。Mini-batchGradientDescent（MBGD）：它的具体思路是在更新每一参数时都使用一部分样本来进行更新可能存在的问题学习过程可能出现的问题：1）数据量过少（m

8、最小化？风险函数损失函数度量预测值与“真实值”之间的“接近程度”，而风险函数，可以认为是平均意义下的损失。有两个概念：经验风险：给定一个数据集，模型f(x)关于训练集的平均损失被称为经验风险。一般认为经验风险最小的模型最优，即经验风险最小化（ERM）。风险函数结构风险：经验风险最小化易产生“过拟合”问题。这就提出了结构风险最小（SRM）的理论。本质上是在经验风险的基础上加入了正则化项（regular