资源描述：
《马尔可夫链模型课件.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。
1、第十一章马氏链模型11.1健康与疾病11.2钢琴销售的存贮策略11.3基因遗传11.4等级结构11.5市场占有率模型11.6最佳服务地点选择如果明天是否有雨仅与今日是否有雨有关，而与过去的天气无关.并设今日下雨，明日有雨概率为0.7，今日无雨明日有雨的概率为0.4，并把有雨称为0状态，无雨称为1状态。则问：今日有雨且第5日仍有雨的概率为多少？例：天气预报问题解：设状态0代表有雨，状态1代表无雨，则一步转移矩阵为：所以今天有雨，第5天有雨的概率为：马尔可夫过程是一类特殊的随机过程,马尔可夫链是离散状态的马
2、尔可夫过程,最初是由俄国数学家马尔可夫1896年提出和研究的.应用十分广泛,其应用领域涉及计算机,通信,自动控制,随机服务,可靠性,生物学,经济,管理,教育,气象,物理,化学等等.1.相关概念马氏链模型系统在每个时期所处的状态是随机的从一时期到下时期的状态按一定概率转移下时期状态只取决于本时期状态和转移概率已知现在，将来与过去无关（无后效性）描述一类重要的随机动态系统（过程）的模型马氏链(MarkovChain)——时间、状态均为离散的随机转移过程例如：在某数字通信系统中传递0，1两种信号，且传递需要经
3、过若干级。因为系统中有噪声，各级将造成错误，若某级输入0，1信号后，其输出不产生错误的概率为p，产生错误的概率为1-p，则该级的输入输出状态构成了一个两个状态的马氏链。马尔可夫链定义设有随机过程{Xn,n∈T}，若对于任意的整数n∈T和任意的i0,i1,…,in+1∈I，条件概率满足则称{Xn,n∈T}为马尔可夫链，简称马氏链将来的状态只与当前状态有关，与过去状态无关马氏性的直观含义可以解释如下:将看作为现在时刻,那末,就是过去时刻,而则是将来时刻.于是,当已知系统现时情况的条件下,系统将来的发展变化与
4、系统的过去无关.我们称之为无后效性.许多实际问题都具有这种无后效性.例如生物基因遗传从这一代到下一代的转移中仅依赖于这一代而与以往各代无关.例1M/G/1排队系统假设顾客依参数为的泊松过程来到一服务中心，只有一个服务员，来客发现服务员空着即刻得到服务；其他人排队等待服务。相继来到的顾客的服务时间Ti假定为相互独立的随机变量，具有共同的分布G；且假定他们与来到过程独立。M/G/1排队系统中字母M代表顾客来到时间间隔服从指数分布，G代表服务时间的分布，数字1代表只有一个服务员。若以X(t)记在t时刻系统中的
5、顾客数，{X(t),t≥0}则不具马尔可夫性。因为，若我们知道在t时刻系统中的顾客数，那么为了预测将来的状态，我们不用关心从最近的一位顾客来到后已过去了多长时间（因为来到过程是无记忆的），但和服务中的顾客服务了多长时间有关（因为服务时间分布不具无记忆性）。Xn-----第n个顾客走后剩下的顾客数，Yn-----第n+1个顾客接受服务期间来到的顾客数，则容易证明{Yn，n≥1}独立同分布，且因此，{Xn，n≥1}是马尔可夫链。其转移概率为为了克服上述困难，我们可以只在顾客离去的时刻考察系统，记Polya（
6、波利亚）模型罐中有b只黑球及r只红球，每次随机地取出一只后把原球放回，并加入与抽出球同色的球c只，再第二次随机地取球重复上面步骤进行下去，{Xn=i}表示第n回摸球放回操作完成后，罐中有i只黑球这一事件，所以这是一个马尔可夫链，在传染病研究中有用。离散参数马尔可夫链（1）转移概率定义在离散参数马尔可夫链中,条件概率称为在时刻(参数)由状态一步转移到状态的一步转移概率,简称转移概率.条件概率称为在时刻(参数)由状态经步转移到状态的步转移概率.(2)转移概率的性质:对于状态空间内的任意两个状态和,恒有(1)
7、(2)为了描述马尔可夫链（n+1）维分布率，最重要的是条件概率P{Xn+1=in+1
8、Xn=in}.它表示在时刻n取in值的条件下，下一时刻n+1取值为in+1的概率（一步转移概率）定义1称条件概率为马尔可夫链{Xn,n∈T}在时刻n的一步转移概率，其中i,j∈I，简称转移概率。定义2若对任意的i,j∈I，马尔可夫链{Xn,n∈T}的转移概率与n无关，则称马尔可夫链是齐次马尔可夫链。我们只讨论齐次马氏链。并将记为设P表示一步转移概率所组成的矩阵，则称为系统状态的一步转移概率矩阵，它具有如下性质：满足上述
9、两个性质的矩阵成为随机矩阵例设味精销售情况分为畅销和滞销两种，1代表畅销，2代表滞销。以表示第n个季度的味精销售状态，则可取1或2的值。若未来的味精市场状态只与现在的市场状态有关，与以前的市场状态无关，则味精的市场销售状态构成一个马尔可夫链。设则状态转移概率矩阵：120.60.50.40.5定义3称条件概率为马尔可夫链{Xn,n∈T}的n步转移概率，并称为马尔可夫链的n步转移矩阵。规定例题设马尔可夫链{Xn,n∈T}有状态空间I={0,1}
