基于MDP的呼叫接入控制策略优化

《基于MDP的呼叫接入控制策略优化》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、基于MDP的呼叫接入控制策略优化陈波(合肥工业人学管理学院)摘要：应川马尔科夫决策过程与性能势相结合的方法，将呼叫接入控制中的长期平均报酬问题转化为马尔科夫决策过程中的稳态性能；给出基于长期平均报酬准则的呼叫接入控制策略优化算法，该算法将対一个MxK维向量的整体寻优转化为K次M维向量的寻优，因而能克服状态维数过高所带來的计算困难，且该算法具有很快的收敛速度；最后运用该算法比较了一个单节点、多服务网络在儿种常用的呼叫接入控制策略下的长期平均报酬。关键词：Markov决策过程；呼叫接入控制；性能势；

2、平均报酬中图分类号：F626.5PolicyOptimizationforCallAdmissionControlStrategybasedonMDPCHENBo(SchoolofManagement,HefeiUniversityofTechnology)Abstract:Throughconvertingthelong-runaveragerewardincalladmissioncontrol(CAC)intotheperformancepotentialinMarkovdecisionp

3、rocess(MDP)byusingthemethodofMDPcombinedwithperformancepotential,apolicyoptimizationalgorithmundertheruleoflong-runexpectedaveragerewardispresented.ThisalgorithmtransformMxKdimensionglobaloptimizationintoKtimesofMdimensionvectoroptimization;sothecomp

4、utingcomplexitybroughtbyhigh-dimensionstatedecreasesevidentlyandtheconvergencespeedofthealgorithmisveryfast.Atlast,thelong-runaveragerewardofasingle-nodeandmulti-scrviccsnetworkunderdifferentCACpoliciesiscomparedbasedontheabovemethod.Keywords:Markovd

5、ecisionprocess;calladmissioncontrol;performancepotential;averagereward0引言网络通信业的发展引发了研究者对多服务类排队系统实时收入管理的研究。当系统的资源有限时，决策者而临着在某一或多个最优准则的前提下如何动态地管理分配系统的资源的问题。通过制定合理的价格控制策略从一定程度上可以解决这个问题，因为与那些传统的技术方案或扩张容量相比，价格能够更玄接地影响消费者的消费行为，从而能够成为一种有效的、切实可行的实施方案。如Odlyzk

6、o提出的固定计价［I］,Mason&Varian提出的4

7、3

8、,更多关于网络定价策略可参考文献［4-5］o价格控制策略因其实施简便而受到决策者的青睐。但如果某一部分服务的流量由于大量新消费者的进入或服务应用需求的突发增加，会导致网络性能的急剧恶化。而在较短时间内改变价格是比较困难的，为了维持良好的服务性能与较高的利润，这时就需要对新进入的服务请求进行有选择的控制，也就是呼叫接入控制。近年來，研究者从不同

9、的方面基于不同的H标对接入控制策略进行了广泛的研究。如Dziong&Mason从合作博弈论的角度分析了多服务网络的公平有效的接入控制问题，运用值迭代算法分别估计了网络在Nash、Raffia、修正基金项目：高等学校博士学科点专项科研基金(20100111120015);高等学校优秀青年人才基金资助项目(2009SQRZ011)作者简介：陈波41980-),男，博士，副教授，研究方向：决策分析，网络服务控制与优化，行为运筹.okchenbo@mail.utsc.edu.cnThomson仲裁模型下

10、的网络性能。与传统的接入控制模型——流量最大化与拥塞平等模型相比，仲裁模型所得出的解具有传统模型所不具有的公平性⑹。Gopaletal.研究在综合业务网络环境下，棊于网络输出最大化目标下的接入控制策略［7旳。Oda&Watanabe研究了一种干线预约（TrunkReservation,TR）的接入控制策略⑼。Liaoefal.研究了负荷相关控制策略，与TR接入控制策略和似，只是比TR策略更特殊的控制策略iio］。Marbach&Tsitsiklis应川神经元动态规划与函数逼近技术给出了TR策略基