基于Q学习算法的迷宫问题应用.doc

《基于Q学习算法的迷宫问题应用.doc》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、基于Q（0）学习算法的迷宫问题的应用一、迷宫的设计设计宗旨，尽量使每一个状态只有惟一的一个路径能够通过终点。此外1处做为起点，34处做为终点。二、状态及相关矩阵的设定及初始化可以看出，此矩阵为一个10*10的矩阵，根据矩阵开闭的情况，根据文献[1]，可得此迷宫的矩阵数学模型为：其中x表示为迷宫墙，即不可通过的部分。1为入口，34为出口。设立奖励值，除了到达最终的终点之外，奖励值均设置为0，初始状态下的Q值各处都为零。这里特殊说明，Q值矩阵为一个56*56的矩阵。Q算法计算公式：Q(st,at)=Q(st,at)+α（rt+1+γmaxQ(st+1,at

2、+1)–Q(st,at)）初始设定：α=0.8γ=0.8一、程序的编写：第一步，初始Ｑ值矩阵，在初始化矩阵时，对于有路径的动作-状态对，例如1,2存在路径，则赋值为1，而1，3之间不存在路径，赋值为0。即为Q(1,2)=0,Q(1,3)=-inf。第二步，更新每个动作-状态对的Ｑ值，其中delta=α（rt+1+γmaxQ(st+1,at+1)–Q(st,at)。Q（i,j）=Q(i,j)+delta.判断delta的值，并以0.001作为收敛。第三步，列出对应状态所应采取的工作。二、结果其中，第一行指代，现在所处于的状态，而第二步表示采取状态后得到了

3、下一状态。