AlphaGo是如何战胜围棋高手的？深度学习告诉你.doc

《AlphaGo是如何战胜围棋高手的？深度学习告诉你.doc》由会员上传分享，免费在线阅读，更多相关内容在应用文档-天天文库。

1、AlphaGo是如何战胜围棋高手的？深度学习告诉你　　AlphaGo（阿尔法狗）战胜了柯洁，人工智能赢了，赢家仍然是人类！　　深度强化学习DRL，其中一个最最经典的应用就是谷歌DeepMind团队研发的围棋程序AlphaGo（阿尔法狗）。AlphaGo的胜利将深度强化学习推上新的热点和高度，成为AI人工智能历史上一个新的里程碑。　　有必要跟大家一起探讨一下AlphaGo（阿尔法狗），了解一下AlphaGo背后神奇的AI力量。　　围棋的程序设计：　　围棋是一个完美的、有趣的数学问题。　　围棋棋盘是1

2、9x19路，所以一共是361个交叉点，每个交叉点有三种状态，可以用1表示黑子，－1表示白字，0表示无子，考虑到每个位置还可能有落子的时间、这个位置的气等其他信息，可以用一个361＊n维的向量来表示一个棋盘的状态。则把一个棋盘状态向量记为s。　　当状态s下，暂时不考虑无法落子的地方，可供下一步落子的空间也是361个。把下一步的落子的行动也用361维的向量来表示记为a。　　于是，设计一个围棋人工智能的程序，就转变为：任意给定一个s状态，寻找最好的应对策略a，让程序按照这个策略走，最后获得棋盘上最大的地

3、盘。　　　　谷歌DeepMind的围棋程序AlphaGo（阿尔法狗）就是基于这样思想设计的。AlphaGo概述：　　AlphaGo（阿尔法狗）创新性地将深度强化学习DRL和蒙特卡罗树搜索MCTS相结合，通过价值网络（valuenetwork）评估局面以减小搜索深度，利用策略网络（policynetwork）降低搜索宽度，使搜索效率得到大幅提升，胜率估算也更加精确。MCTS必要性：　　AlphaGo（阿尔法狗）系统中除了深度强化学习DRL外，为什么还需要蒙特卡罗树搜索？　　围棋棋面总共有19＊19＝

4、361个落子位置。假如计算机有足够的计算能力，理论上来说，可以穷举黑白双方所有可能的落子位置，找到最优或次优落子策略。如果穷举黑白双方所有可能的落子位置，各种组合的总数，大约是250＾150数量级，即围棋的计算复杂度约为250的150次方。假如采用传统的暴力搜索方式（遍历搜索方式），用当今世界最强大云计算系统，算几十年也算不完。按照现有的计算能力是远远无法解决围棋问题的。早期计算机围棋软件通过专家系统和模糊匹配缩小搜索空间，减轻计算强度，但受限于计算资源和硬件能力，实际效果并不理想。　　但是到了2

5、006年，蒙特卡罗树搜索的应用标志着计算机围棋进入了崭新阶段。　　AlphaGo网络结构：　　网络结构如下图所示：　　　　AlphaGo系统组成：　　AlphaGo（阿尔法狗）系统主要由几个部分组成：　　1．策略网络（PolicyNetwork）：给定当前围棋局面，预测／采样下一步的走棋。　　2．快速走子（Fastrollout）：目标和策略网络一样，只不过围棋有时间限制，需要在规定时间内适当牺牲走棋质量情况下，快速落子，速度要比策略网络要快1000倍。　　3．价值网络（ValueNetwork）

6、：给定当前围棋局面，估计是白胜还是黑胜。　　4．蒙特卡罗树搜索（MonteCarloTreeSearch）：不穷举所有组合，找到最优或次优位置。　　把以上这四个部分结合起来，形成一个完整的AlphaGo（阿尔法狗）系统。　　蒙特卡洛树搜索（MCTS）是一个大框架，许多博弈AI都会采用这个框架。强化学习（RL）是学习方法，用来提升AI的实力。深度学习（DL）采用了深度神经网络（DNN），它是工具，用来拟合围棋局面评估函数和策略函数的。蒙特卡洛树搜索（MCTS）和强化学习RL让具有自学能力、并行的围棋

7、博弈算法成为可能。深度学习（DL）让量化地评估围棋局面成为了可能。　　小结：　　可以说AlphaGo最大优势就是它应用了通用算法，而不是仅局限于围棋领域的算法。AlphaGo胜利证明了像围棋这样复杂的问题，都可以通过先进的AI人工智能技术来解决。