深度学习尘埃已落定 AI冬天只是时间问题.doc

《深度学习尘埃已落定 AI冬天只是时间问题.doc》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、深度学习尘埃已落定AI冬天只是时间问题　　处于所谓的AI革命的前沿至今已有好几年；许多人过去认为，深度学习是神奇的“银弹”，会把我们带到技术奇点（generalAI）的奇妙世界。许多公司在2014年、2015年和2016年纷纷下豪赌，那几年业界在开拓新的边界，比如AlphaGo等。特斯拉等公司通过各自的门面（CEO）来宣布，完全自动驾驶的汽车指日可待，以至于特斯拉开始向客户兜售这种愿景（有依赖于未来的软件更新）。　　我们现在进入到2018年年中，情况已发生了变化。这表面上暂时还看不出来，NIPS大会仍一票难求，许多公司的公关人员仍在新闻发布会上竭

2、力鼓吹AI，埃隆·马斯克仍不断承诺会推出自动驾驶汽车，谷歌的首席执行官仍不断高喊吴恩达的口号（AI比电力更具革命性）。但这种论调开始站不住脚。正如我在之前的文章中预测，最站不住脚的地方就是自动驾驶――即这项技术在现实世界中的实际应用。　　深度学习方面尘埃已落定　　ImageNet得到有效地解决（注意：这并不意味着视觉已得到解决）时，这个领域的杰出研究人员、甚至包括通常低调的杰夫·辛顿（GeoffHinton）都在积极接受媒体采访，在社交媒体上大造声势，比如雅恩·乐坤（YannLecun）、吴恩达和李飞飞等人。大意无非是，我们正面临一场巨大的革命；

3、从现在开始，革命的步伐只会加快。多年过去了，这些人的推文变得不那么活跃了，下面以吴恩达的推文为例来说明：　　2013年：每天0.413条推文　　2014年：每天0.605条推文　　2015年：每天0.320条推文　　2016年：每天0.802条推文　　2017年：每天0.668条推文　　2018年：每天0.263条推文（截至5月24日）　　也许这是由于吴恩达的大胆言论现在受到了IT界会更严厉的拷问，正如下面这条推文所示：　　　　显而易见，AI方面的声势已大幅减弱，现在盛赞深度学习是终极算法的推文少多了，论文也少了“革命性”的论调，多了“演进性”的

4、论调。自推出AlphaGozero以来，Deepmind还没有拿出任何激动人心的成果。OpenAI相当安静，它上一次在媒体上大放异彩是玩《刀塔2》（Dota2）游戏的代理，我想它原本是为了营造与AlphaGo一样大的声势，但很快就没有了动静。实际上这时开始出现了好多文章，认为连谷歌实际上都不知道如何处理Deepmind，因为它们的结果显然不如最初预期的那样注重实际……至于那些声名显赫的研究人员，他们通常在四处会见加拿大或法国的政府官员，确保将来拿到拨款，雅恩·乐坤甚至辞去了FacebookAI实验室主任一职，改任Facebook首席AI科学家。从

5、财大气粗的大公司逐渐转向政府资助的研究机构，这让我意识到，这些公司（我指谷歌和Facebook）对此类研究的兴趣实际上在慢慢减弱。这些同样是早期的征兆，不是大声说出来，只是肢体语言。　　深度学习不具有扩展性　　深度学习方面老生常谈的重要口号之一是，它几乎毫不费力就能扩展。我们在2012年有了约有6000万个参数的AlexNet，现在我们可能拥有至少是参数是这个数1000倍的模型，是不是？也许我们有这样的模型，可是问题是，这种模型的功能强1000倍吗？或者甚至强100倍？OpenAI的一项研究派上了用场：　　　　所以，从视觉应用这方面来看，我们看到

6、VGG和Resnets在运用的计算资源大约高出一个数量级后趋于饱和（从参数的数量来看实际上更少）。XcepTIon是谷歌IncepTIon架构的一种变体，实际上只是在ImageNet方面比IncepTIon略胜一筹，可能比其他各种架构略胜一筹，因为实际上AlexNet解决了ImageNet。所以在计算资源比AlexNet多100倍的情况下，我们实际上在视觉（准确地说是图像分类）方面几乎让架构趋于饱和。神经机器翻译是各大互联网搜索引擎大力开展的一个方向，难怪它获取所能获取的所有计算资源（不过谷歌翻译仍很差劲，不过有所改进）。上面图中最近的三个点显示

7、了与强化学习有关的项目，适用于Deepmind和OpenAI玩的游戏。尤其是AlphaGoZero和更通用一点的AlphaGo获取的计算资源非常多，但它们并不适用于实际应用，原因是模拟和生成这些数据密集型模型所需的数据需要这些计算资源中的大部分。OK，现在我们可以在几分钟内、而不是几天内训练AlexNet，但是我们可以在几天内训练大1000倍的AlexNet，并获得性质上更好的结果吗？显然不能……。　　所以实际上，旨在显示深度学习扩展性多好的这张图恰恰表明了其扩展性多差。我们不能简单地通过扩展AlexNet来获得相应更好的结果，我们不得不调整特定

8、的架构，如果不能在数据样本的数量上获得数量级的提升，实际额外的计算资源无法换来太大的效果，而这种量级的数据样本实际上只有在模拟游戏环境中