资源描述：
《用于强化学习的值函数逼近方法研究》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。
1、用于强化学习的值函数逼近方法研究硕士学位论文论文题目用于强化学习的值函数逼近方法研究研究生姓名肖飞指导教师姓名刘全专业名称计算机软件与理论研究方向机器学习论文提交日期2013年5月用于强化学习的值函数逼近方法研究中文摘要用于强化学习的值函数逼近方法研究中文摘要强化学习系统以Agent与环境的长期交互为主要特征。该交互可以建模为一个马尔科夫决策过程MDP。该环境可能是未知的、动态变化的、不确定的、部分感知甚至不可感知的。面对这样的环境,强化学习旨在构建能够自学习和在线学习的智能系统,这样必然带来一定的复杂性。
2、本文着眼于大空间或连续空间的MDP任务所面临的“维数灾”问题,以函数逼近强化学习中的值函数逼近为出发点。针对函数逼近解决“维数灾”问题中面临的诸多挑战,分析了不同类型逼近模型的优缺点,提出了若干值函数逼近模型及对应的学习算法。主要研究内容包括以下三部分:(1)针对强化学习算法面临的收敛速度慢及初始性能差的问题,提出了一种基于势函数塑造奖赏机制的值函数逼近模型及算法。该机制自适应地将模型知识以奖赏的形式传递给学习器,能够有效提高算法的收敛速度和初始性能。从理论上分析了算法的收敛性,并通过实验验证了算法的有效性
3、。(2)鉴于核方法的有效性,提出一种基于最小二乘支持向量回归LSSVR的Q值函数分片逼近模型及算法。利用LSSVR将值函数逼近问题转化为高维特征空间中的线性回归问题,建立了一套完整的问题表示、转化和求解模型。为了提高逼近模型的精度,利用动作关联的多个LSSVR模型来分片逼近Q值函数。针对强化学习的在线特性,提出了随机样本池和基于近似线性依赖ALD的在线稀疏化样本池。(3)针对RBF网络逼近模型的“灾难性扰动”问题,提出了一种基于自适应归一化RBF网络的Q-V值函数协同逼近模型及算法。对由RBFs提取得到的特
4、征向量进行归一化处理,并在线自适应地调整网络隐藏层节点的个数、中心及宽度,可以一定程度上提高逼近模型的抗干扰性和灵活性。协同逼近模型中利用Q和V值函数协同塑造TD误差,可以有效提高算法的收敛速度和初始性能。关键词:强化学习,值函数逼近,塑造奖赏,最小二乘支持向量回归,RBF网络作者:肖飞指导老师:刘全(教授)IAbstractResearchonValueFunctionApproximationMethodswithinReinforcementLeanringResearchonValueFunctio
5、nApproximationMethodswithinReinforcementLearningAbstractReinforcementLearningRLsystemsarecharacterizedbyalong-terminteractionbetweentheagentandanunknown,dynamicallychanging,uncertain,partiallyobservable,possiblyevenunobservableenvironment.Thisinteractionca
6、nbemodeledasaMarkovDecisionProcessMDP.RLaimstobuildintelligentsystemscapableofself-learningandonlinelearningunderthisenvironment,andthiswillinevitablybringsomecomplexityThisthesisfocuseson“curseofdimensionality”existinginMDPtaskswithalargespaceorcontinuous
7、space.ThevaluefunctionapproximationofRLfunctionapproximationisthestartingpoint.Therearemanychallengeswhenusingfunctionapproximationtosolve“curseofdimensionality”.Inresponsetothesechallenges,thisthesisanalyzestheadvantagesanddisadvantagesofdifferenttypesofa
8、pproximationmodel,andproposesseveralvaluefunctionapproximationmodelsandthecorrespondinglearningalgorithmsThemainresearchisoutlinedasfollows:i.Inordertosolvetheproblemsoflowconvergencespeedandillinitialperform
