基于多智能体强化学习的决策支持系统的研究

《基于多智能体强化学习的决策支持系统的研究》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、南京航空航天大学硕士学位论文第一章绪论1.1课题背景和意义决策是每个人都会面临着的问题。复杂多变的社会环境，激烈的市场竞争，使得政府和企业管理者、经营者面临着越来越复杂的决策问题，迫切需要合理、完善的决策工具帮助他们做出迅速、正确的决策，从而更好地服务社会、提高企业的竞争力。决策支持系统（DecisionSupportSystem，DSS）的概念最早是在20世纪70年代初由ScottMorton和Keen提出来的[1]。它最初的设计目的是应用在管理领域中，辅助管理者处理半结构化和非结构化决策问题，允许决策者直接干预，并能接受决策者的直观判断和经验的动态交互。国内开展决策支持系统的研究比较晚，但

2、是经过不懈努力，已经应用到以下领域中：政府宏观经济管理和公共管理问题；水资源调配与防洪预警系统；产业（或行业）规划与管理、各类资源开发与利用决策；生态和环境控制系统的决策以及自然灾害的预防管理；金融系统的投资决策与风险分析管理；企业生产运作管理的决策。决策支持系统实质上是在管理信息系统和运筹学的基础上发展起来的。大多数DSS一般采用确定性的定量模型，根据多个准则，通过人机交互，针对半结构化的决策问题进行处理。即决策方法和决策过程只是在一定范围内根据使用者的经验做出选择，从而协调多目标和多准则的决策问题。而对于使用者所不具有的知识和系统没有预先设置的模型，此决策方法就显得力不从心。因此，出现了将

3、人工智能技术和其它相关学科的成果及其技术相结合的智能决策支持系统。人工智能技术的加入使得决策过程能够充分利用和学习人类的知识。决策过程是一个复杂的分析、推理和决断过程。明智的决策会大大促进社会和企业的发展，错误的决策则会造成资源的巨大浪费，危及企业和社会的发展。决策支持系统的设计是一项复杂且耗时的工作，通常它不仅需要建立和确定被研究对象的精确的数学模型，而且需要决策者具有丰富的设计经验，宽广的知识背景，细致、全面的考虑，仔细、认真的推理和分析。传统决策支持系统过分依赖模型技术与数据处理技术，并且需要决策者的高度参与，因此容易产生主观偏差。同时，决策分析过程是一个反复的过程，要不断地尝试和折中，

4、需要花费大量时间和精力。随着研究对象复杂程度的提高、约束条件的增加、环境对象的变化，加上所需信息的不足、以及决策者对决策要求的不断提高，传统的基于经验和逻辑分析的决策支持系统的设计方法越来越不能满足决策者的需求。强化学习是机器学习方法中的一个重要分支，是近年来的一个研究热点。强化学习方法的特点是自主学习，无需提供导师信号，不需要严格的数学模型以及具有终身在线学习能力。以此为基础设计的决策支持系统可以综合考虑多方（多智能体）互动的约束，利用多智能体强化1基于多智能体强化学习的决策支持系统的研究学习算法实现多方的协调或合作，自主地学到最优策略，为决策者提供动态、合理、可靠的智能决策支持。因此，采用

5、强化学习技术必将提高决策系统的智能性、适应性和准确性，为社会经济、生产协调等提供有力地支持。1.1课题研究中涉及到的关键技术本文研究的基于多智能体强化学习的决策支持系统，主要应用于三个方面：冲突分析、双机超视距空战战术决策和飞行路径规划。这其中涉及到的关键技术有：1)多智能体协调冲突分析涉及到多个决策者决策的问题。强化学习在多智能体领域中的应用还存在很多问题。在多智能体的环境中，对于每个智能体来说，由于其它的智能体也在不断地学习和适应环境，所以它所处的环境是变化的。但是这种变化不是随机的，而是由其它智能体引起的。在这种情况下各智能体间如何协调，就成为一个要解决的关键问题。2)特殊的决策环境双机

6、超视距空战战术决策应用的环境是空战。而强化学习一般都是定义在马尔可夫环境下的，如何在空战这种特殊的环境（在后面章节中有说明）中应用多智能体强化学习进行决策也是一个关键问题。3)维数灾难强化学习还有一个固有的问题：维数灾难。这个问题在路径规划中显得尤为突出。如何克服强化学习这一固有的问题，是解决强化学习路径规划的关键。1.2章节安排本文主要内容的结构安排如下：第一章介绍了课题的研究背景和意义，以及课题的研究内容。第二章分别对决策支持系统和多智能体技术进行了介绍。首先介绍了决策支持系统的基本概念和系统结构，然后阐述了其发展过程，最后对智能决策支持系统进行了详细的说明。对多智能体技术分别介绍了智能体

7、的定义、研究多智能体系统的必要性以及多智能体系统的协作机制。第三章对强化学习理论进行了详细介绍。首先介绍了强化学习的一些基本知识，然后分别对现有的一些单智能体和多智能体强化学习算法进行了介绍。第四章是基于多智能体强化学习的决策支持系统在冲突分析中应用的实例。这一章首先对冲突分析问题进行了概述，然后给出了我们提出的决策系统的结构框架和强化学习算法，最后给出了仿真验证，并对实验结果进行了分析。第五章是