资源描述：
《机器学习入门——浅谈神经网路》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。
1、机器学习入门一一浅谈神经网路先从回归(Regression)问题说起。我在本吧已经看到不少人提到如果想实现强AI,就必须让机器学会观察并总结规律的言论。具体地说，要让机器观察什么是圆的，什么是方的，区分各种颜色和形状，然后根据这些特征对某种事物进行分类或预测。其实这就是回归问题。如何解决回归问题？我们用眼睛看到某样东西，可以一下子看出它的一些基本特征。可是计算机呢？它看到的只是一堆数字而己，因此要让机器从事物的特征中找到规律，其实是一个如何在数字中找规律的问题。例：假如有一串数字，已知前六个是1、3、5、
2、7,9,11,请问第七个是几？你一眼能看出来，是13。对，这串数字之间有明显的数学规律，都是奇数，而且是按顺序排列的。那么这个呢？前六个是0.14>0.57、1.29、2.29、3.57、5.14,请问第七个是几?这个就不那么容易看出来了吧！我们把这几个数字在坐标轴上标识一下，可以看到如下图形：用曲线连接这几个点，延着曲线的走势，可以推算出第七个数字一一70由此可见，回归问题其实是个曲线拟合(CurveFitting)问题。那么究竞该如何拟合？机器不可能像你一样，凭感觉随手画一下就拟合了，它必须要通过某种
3、算法才行。假设有一堆按一定规律分布的样本点，下面我以拟合直线为例，说说这种算法的原理。其实很简单，先随意画一条直线，然后不断旋转它。每转一下，就分别计算一下每个样本点和直线上对应点的距离（误差），求出所有点的误差Z和。这样不断旋转，当误差Z和达到最小时，停止旋转。说得再复杂点，在旋转的过程中，还要不断平移这条直线，这样不断调整，直到误差最小时为止。这种方法就是著名的梯度下降法（GradientDescent）o为什么是梯度下降呢？在旋转的过程中，当误差越来越小时，旋转或移动的量也跟着逐渐变小，当误差小于某
4、个很小的数，例如0.0001时，我们就可以收工（收敛,Converge）?。啰嗦一句，如果随便转，转过头了再往回转，那就不是梯度下降法。1我们知道，直线的公式是y=kx+b,k代表斜率，b代表偏移值（y轴上的截距）。也就是说，k可以控制直线的旋转角度，b可以控制直线的移动。强调一下，梯度下降法的实质是不断的修改k、b这两个参数值，使最终的误差达到最小。求误差时使用累加（直线点■样本点）八2,这样比直接求差距累加（直线点•样本点）的效果要好。这种利用最小化误差的平方和来解决回归问题的方法叫最小二乘法（Lea
5、stSquareMethod）。问题到此使似乎就己经解决了，可是我们需耍一种适应于各种曲线拟合的方法，所以还需要继续深入研究。我们根据拟合直线不断旋转的角度（斜率）和拟合的误差画一条函数曲线，如图：从图中可以看出，误差的函数曲线是个二次曲线，凸函数(下凸，Convex),像个碗的形状，最小值位于碗的最下端。如果在曲线的最底端画一条切线，那么这条切线一定是水平的，在图中可以把横坐标轴看成是这条切线。如果能求出曲线上每个点的切线，就能得到切线位于水平状态时,即切线斜率等于0时的坐标值,这个坐标值就是我们要求的
6、误差最小值和最终的拟合直线的最终斜率。这样，梯度下降的问题集中到了切线的旋转上。切线旋转至水平时,切线斜率二0,误差降至最小值。切线每次旋转的幅度叫做学习率(LearningRate),加大学习率会加快拟合速度，但是如果调得太大会导致切线旋转过度而无法收敛。2注意：对于凹凸不平的误差函数曲线，梯度下降时有可能陷入局部最优解。下图的曲线中冇两个坑，切线冇可能在第一个坑的最底部趋于水平。微分就是专门求曲线切线的工具，求出的切线斜率叫做导数(Derivative),用dy/dx或f'(x)表示。扩展到多
7、变量的应用,如果要同时求多个曲线的切线，那么其中某个切线的斜率就叫偏导数(PartialDerivative),用?y/?x表示,?读“偏(partial)”。由于实际应用中，我们一般都是对多变量进行处理，我在后面提到的导数也都是指偏导数。以上是线性回归(LinearRegression)^基本内容，以此方法为基础，把直线公式改为曲线公式，还可以扩展出二次回归、三次回归、多项式回归等多种曲线回归。下图是Excel的回归分析功能。在多数情况下，曲线回归会比直线回归更精确，但它也增加了拟合的复杂程度。3直线方
8、程y=kx+b改为二次曲线方程y=axA2+bx+c时，参数（Parameter）由2个（分别是k、b）变为3个（分别是a、b、c）,特征（Feature）由1个（x）变为2个（xT和X）。三次曲线和复杂的多项式回归会增加更多的参数和特征。前面讲的是总结一串数字的规律，现实生活中我们往往要根据多个特征（多串数字）来分析一件事情，每个原始特征我们都看作是一个维度（Dimension）o例如一个学生的学习成绩好坏要根据语文、数学、
