手把手教你入门神经网络系列

《手把手教你入门神经网络系列》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、1.开场先扔个段子在互联网广告营销中，经常会有这样的对话：问：你们的人群标签是什么样的?答：我们是专门为您订制的look-alike标签!问：好吧，你们的定向算法能不能说明一下?答：我们用的是deeplearning技术!一般来说，话题到此，广告主会因为自己理论知识的匮乏而羞愧得无地自容。唯一的办法就是先透过投放广告的方式先学习起来。——刘鹏《广告技术公司十大装逼姿势》像deeplearning、DNN、BP神经网络等这些高逼格的词，真的很能吓唬人，但真正的内容什么，很多人却解释得不多，要么说得太晦

2、涩，要么说得太神叨。其实，就我们的粗浅了解，神经网络、深度学习啥的，入门还是很容易的。如果去除外面浮夸的包装，它们的理论基础也相当直白。当然这并不是说神经网络不难，它们真正难的地方是在实践方面，但这也是有方法可处理的。为了浅显易懂地给大家解释这个过程，我们开设了“手把手入门神经网络系列”。在本篇文章中，我们依然少用公式多画图，只用初等数学的知识解释一下神经网络。2.神经网络有什么牛逼之处?机器学习算法这么多，为什么神经网络这么牛逼?为了解释这个问题，我们呈现了神经网络在分类问题上优于逻辑回归的地方—

3、—它几乎可以实现任意复杂的分类边界，无误差地实现训练集上的分类。然而，这是有代价的：由于其强大的拟合能力，极容易产生过拟合。为了降低过拟合，我们介绍了一种降低过拟合的思路。在这个过程中，我们尽量解释神经网络每一步操作对应的现实意义和最终目的。可是，神经网络的可解释性往往是个非常大的难题。为此，我们采用了最易于理解的“交集”(逻辑与)、“并集”(逻辑或)神经网络，希望能帮助大家进行启发式理解。但是，神经网络的问题并没有解决完。之后，我们引出了用神经网络的一些典型问题，我们将在接下来的系列文章对其进行深

4、入探讨。3.从逻辑回归到神经网络神经网络主要应用场景之一是分类，我们之前博文中提到的逻辑回归也是解决分类问题的一类机器学习算法，有趣的是，实际上两者有着很紧密的关系，而逻辑回归作为帮助我们理解神经网络的切入口也是极好的，所以我们先从逻辑回归开始。看过本我们前文《机器学习系列(2)_用初等数学解读逻辑回归》的读者盆友应该会有个印象，逻辑回归可以理解成将空间中的点经过一系列几何变换求解损失函数而进行分类的过程，具体过程如图：具体分析一下我们所求的“参数”的几何意义，(θ1,θ2)就是图中法向量p的方向，

5、θ0对应着法向量p的起点距离坐标系原点的偏移。在神经网络中，向量(θ1,θ2)也叫做权重，常用w表示;θ0就叫做偏移，常用b表示。而上面的逻辑回归过程，用神经元的表达方式如下，这就是传说中的“感知器”：其中，z=θ0+θ1X1+θ2X2，a=g(z)=11+e−z，g(z)叫做激励函数逻辑回归的激励函数自然就是sigmoid函数，输出值a对应着输入样本点x(X1,X2)在法向量p所指向的那部分空间的概率。本文为了兼容逻辑回归，只考虑sigmoid函数作为激励函数的情况，而且这也是工业界最常见的情况。

6、其他激励函数的选择将会在后面系列文章继续介绍。补充说明一下，以上只是为了表示清晰而这样画神经网络。在一般的神经网络画法中，激励函数的操作节点会与输出节点写成同一个节点，如下图：好了，到此为止，神经网络相对于逻辑回归没有提供任何新的知识，就是换了个花样来表示。但神经网络这样表示有个重大的作用：它方便我们以此为基础做逻辑回归的多层组合嵌套——比如对同样的输入x(X1,X2)可以同时做n个逻辑回归，产生n个输出结果，这就是传说中的“单层感知器”或者叫“无隐层神经网络”。示意图如下：你还可以对n个逻辑回归的

7、n个输出再做m个逻辑回归，这就是传说中的“单隐层神经网络”。示意图如下：如果你愿意，可以继续做下去，子子孙孙无穷匮也：最左边的层叫做输入层，最右边的层叫做输出层，二者之间的所有层叫做隐藏层。如果层数比较少，就是传说中的SNN(shallownerualnetwork)“浅层神经网络”;如果层数比较多，就是传说中的DNN(DeepNeuralNetworks)“深度神经网络”。对“浅层神经网络”的建模叫做“浅层学习”，那么对于“深度神经网络”……“深度学习”!恭喜你已经会抢答了!到目前为止，我们没有运

8、用任何更多的数学知识，就已经收获了一大批装逼术语。如果你愿意，把上面的所有情况叫做“逻辑回归的逻辑回归的逻辑回归的逻辑……”，我也觉得蛮好哈。(喘不过气来了……)4.双隐层神经网络彻底实现复杂分类我们之前已经探讨过，逻辑回归的比较擅长解决线性可分的问题。对于非线性可分的问题，逻辑回归有一种运用复杂映射函数的思路，但这种思路只做了一次(非线性的)几何变换，就得到了线性可分的情形。可参考下图:神经网络的视角则给我们提供了另一种思路，可以连续做几次的几何变换，每次变换都是一