基于强化学习的劣化系统维修策略分析

《基于强化学习的劣化系统维修策略分析》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、表格清单表3-1不同检测间隔对应的平均代价28表4-1不同模型下各算法的比较38表4・2统计数据38独创性声明本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。据我所知，除了文中特别加以标志和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得—合肥工业大学或其他教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均己在论文中作了明确的说明并表示谢意。学位论文作者签字：郭一明签字日期：2011年4月30日学位论文版权使用授权书本学位论

2、文作者完全了解—合肥工业大学有关保留、使用学位论文的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅或借阅。本人授权—合肥工业大学可以将学位论文的全部或部分论文内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。（保密的学位论文在解密后适用本授权书）学位论文者签名：郭一明导师签名：唐昊签字日期：2011年4月30日签字日期：2011年4月30日学位论文作者毕业后去向：工作单位：电话：邮编:通讯地址:第一章绪论生产系统中存在着这样一类劣化系统，它的性

3、能由于受到运行吋间和环境的影响不断下降，最终导致失效。如何合理的安排劣化系统维修对于提高系统的可靠性和安全性起着重要的作用。木章简要介绍研究可靠性的背景、劣化系统维修问题的概述以及强化学习(ReinforcementLearning,RL)的基本知识。1.1可靠性概述近年来，可靠性作为一个热门问题受到了广大学者的密切关注。可靠性主要讨论的是产品在使用阶段是否能充分发挥其作用，包括：不发生故障；容易使用；即使进行了错误的操作也不会产生问题；即使发生故障也容易纠正；即使发生故障也不会产生二次损害等等。产品的

4、可靠性是指，在规定的条件下，在规定的时间内完成所规定的功能的能力。这里的产品泛指任何系统、设备和元器件。其中，规定的条件包括使用时的环境条件和工作条件；规定的时间为产品规定了的任务时间，随着产品任务时间的增加，产品岀现故障的概率将增加，产品的可靠性将下降；规定的功能是指产品规定了的必须具备的功能及其技术指标，这育•接影响到产品可靠性指标的高低。可靠性问题对于避免防止故障的发生、降低产品的生产费用、提高生产效率以及对于提高公司的竞争力都具有深远的影响。根据可靠性工程理论，系统的性能越优良、结构越复杂、组成

5、系统的部件数目越多，系统发生故障的可能性就越大⑴。可靠性涉及故障，所谓故障就是指失去该产品的功能。而机械产品几乎都是以维修为前提的。在考虑故障发生的同吋，维修的难易程度，即维修性也是不容忽视的。此外，已发生的故障是否会影响安全也需要考虑，即涉及到安全性的问题。可靠性的研究具有很深的意义，包括：高可靠性的产品能够满足现代技术和生产的需要、高可靠性产品可获得高的经济效益、高可靠性产品具有更高的竞争力。因此，可靠性已经被列为产品的重要质量指标加以考核和检验，可靠性也被当作一门专业的技术进行研究。1・2劣化系统

6、概述在工业生产中存在着这样一种系统，当系统投入运行后，随着使用吋间的增加以及所处工作环境的影响，部件性能不断劣化，工作效率和性能都将逐渐下降宜到系统发牛失效⑵。系统的状态不断劣化，部件能够正常工作的时间也越来越短，从而导致生产成木的增加和服务水平的下降，甚至会由此引发一些灾难性的后果，对经济上也造成了巨大的损失。据2006年的统计表明，美国一年工业设备维修费用就达800-1200亿美元，而我国每年用于设备维修的费用近300亿人民币，现代企业中故障维修和停机损失费用已占其生产成本的30%〜40%。因此，为

7、了减少系统在使用过程中失效的可能性，各种事前维修被广泛的釆用，因此劣化系统的检测与维修问题研究的目标就是如何合理安排各种事前维修手段以及检测的时间，能够使得系统正常运行并且产生的费用最小化。在现有的讨论有关单部件劣化系统的维修策略问题吋，通常从以下七个方而来考虑⑶，因为这七个方面基本上涵盖了实际过程中遇到的所有情况。I.系统的状态模式(1)系统分为“好”和“坏”两种状态。这是为了简便处理理论研究屮涉及到的一些数学问题，此种情况的缺点是并不能全面反映实际情况。(2)系统的状态被离散化，用连续的整数0,l,

8、...,N来表示劣化的各个等级，其屮0表示系统的初始状态也即最好的状态，N表示系统的失效状态，如图1J所示。(3)系统状态连续变化，状态随时间的某个函数而变化，如图「2所示。通常用Levy过程、Gammaid程来描述，这种模式能够很好地反映实际系统的情况，但是理论的知识积累较少，研究起来较为困难。图I-2连续的劣化状态II.系统的维修手段(1)小维修，也是维修费用最小的维修手段，能够恢复的劣化状态也很有限,通常在劣化的初始阶段使用。(2)主