基于强化学习的自适应中间件在线更新机制研究-论文.pdf

《基于强化学习的自适应中间件在线更新机制研究-论文.pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、CN43—1258／TP计算机工程与科学第36卷第8期2014年8月ISSN1007—13OXComputerEngineering&ScienceVo1．36，No．8，Aug．2014文章编号：1007-130X(2014)08-1462—07基于强化学习的自适应中间件在线更新机制研究王建军，刘玉林(河北经贸大学现代教育技术中心，河北石家庄050061)摘要：自适应中间件框架一般根据预先定义的策略、按照监控、分析、决策、执行的流程实现对开放可变系统的闭环控制。但是，传统的自适应框架基于离线的闭环控制，即在

2、提供自适应服务的同时，自身的决策模型不能随实时的环境变化而更新。针对该问题提出一种基于强化学习的自适应中间件的在线更新方案，解决自适应策略的冲突消解、系统实时效用评估问题，并设计一种基于强化学习的自适应策略在线学习更新方法，增强了自适应中间件的智能性、灵活性和应变能力。最后实现了相应的支撑系统OUSAM并在其上验证了该机制的有效性和可行性。关键词：自适应中间件；在线更新；智能决策；强化学习中图分类号：TP311文献标志码：Adoi：10．3969／j．issn．1007—130X．2014．08．007Onl

3、ineupdatingofself-adaptivemiddleware●basec10nrei‘ntml0rcementlearni‘ngWANGJian—jun。LIUYu—lin(CenterofModernEducationTechnology，HebeiUniversityofEconomicsandBusiness，Shijiazhuang050061，China)Abstract：Onecommonapproachofself—adaptivemiddlewareistoincorporatea

4、controlloopthatmo—nitors，analyzes，decidesandexecutesoveratargetsystemwithpredefinedstrategies．SuchapproachisanofflineadaptationwherestrategiesoradaptivemodelsarestaticallydeterminedSOasnottochangewithenvironment．Aimingattheproblem，anonlineupdatingmechanismo

5、fself—adaptivemiddlewarebasedonreinforcementlearningisproposedtosolvetheproblemsofconflictresolutionandreal—timesystemeffectivenessevaluation，andanonlineupdatingmethodofself—adaptivepolicybasedonrein—forcementlearningisdesigned，thusenhancingintelligence，fle

6、xibilityandreactioncapability．Finally，thecorrespondingsystemOUSAMisimplementedandtheeffectivenessandfeasibilityofthemechanismiSvalidatedonOUSAM．Keywords：self—adaptivemiddleware；onlineupdating；intelligentdecision；reinforcementlearning步走向开放、动态、分布。这就要求中间件能根据引言

7、内外环境变化以及用户的需求对所支撑的业务系统进行实时调整演化，以达到用户目标和较好的性软件中间件通过屏蔽底层差异，为软件开发者能指标。自适应中间件技术应运而生，有关自适应和普通用户提供稳定贴切的服务。然而，随着软件中间件的理论也正受到研究者的重视。自适应中系统的日益复杂、计算平台的多样化以及用户需求间件是一种在动态、开放的环境中对业务软件上下的不断变化，软件中间件也由传统的静态、封闭逐文自动进行感知，决策以对系统进行演化，提升性*收稿日期：2012-12—10；修回日期：2013-03—07通信地址：0500

8、61河北省石家庄市学府路47号河北经贸大学现代教育技术中心Address：CenterofModernEducationTechnology，HebeiUniversityofEconomicsandBusinesse，47XuefuRd，Shijiazhuang050061，Hebei，P．R．China王建军等：基于强化学习的自适应中间件在线更新机制研究1463能的中间件系统。例如，分布式系统底