资源描述：
《第0 42_12讲马尔可夫过程续1生灭过程.pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。
1、10马尔可夫过程（续一）几种重要的马尔科夫过程：泊松过程，纯增值过程，尤尔过程生灭过程。分析方法：马尔可夫过程：定义、性质数学描述：状态列矢量、转移概率矩阵、转移概率行矢量、转移概率列矢量，跳跃率矩阵、Q，状态转换图，基本规律：前进方程、后退方程、福克-布朗克方程过程分析：暂态（拉氏变换、母函数）、稳态（条件）典型过程的分析，10.1泊松过程，定义10.2纯增值过程，尤尔过程：定义跳跃率微分方程拉氏变换求解10.3生灭过程。定义跳跃率前进微分方程利用母函数求解福克普朗克方程，以及均值的福克普朗克方程稳态解10.4马尔可夫过程举例：利用微分方程求同解，利用稳态方程求稳态解。纯增值过程：尤尔
2、过程举例电话的话音模型简单排队问题可靠性问题电话交换问题10.1泊松过程10.1.1定义，泊松过程的状态为{}0,1,2,",n,"。在任意状态下，在[t,t+Δt]时间间隔内出现一次事件的概率是λΔt+O()Δt，出现两次事件的概率是O(Δt)。λ是常数，则为齐次泊松过程，λ是时间的函数，则为非齐次泊松过程。10.2纯增值过程10.2.1定义，纯增值过程是泊松过程的推广。纯增值过程的状态为{}0,1,2,",n,"。在状态n下，在[t,t+Δt]时间间隔内出现一次事件的概率是λ(t)Δt+O(Δt)，出现两次事件的概率是O()Δt。n纯增值过程跳跃概率的方程：⎧λn(t)Δt+O(Δt
3、),k=n+1⎪P{}ξ(t+Δt)=k/ξ(t)=n)=⎨1−λn(t)Δt+O(Δt),k=n⎪⎩O(Δt),otherwise纯增值过程状态概率的微分方程（设初始状态是m状态）：w(t+Δt)=w(t)()1−λΔt+O(Δt)mmmw(t+Δt)=w(t)()1−λΔt+w(t)λΔt+O(Δt),n>mnnnn−1n−1即dw(t)m=−λw(t)mmdtdw(t)n=−λw(t)+λw(t),n>mnnn−1n−1dt求解微分方程、用拉氏变换方法求解微分方程。sw(s)=−λw(s)mmmsw(s)=−λw(s)+λw(s),n>mnnnn−1n−1于是有，1w(s)=ms+
4、λmλn−1w(s)=w(s),n>mnn−1s+λnλλ"λn−1n−1mw(s)=n()()()s+λs+λ"s+λnn−1mnAi=∑,n>mi=ms+λi其中()n−m−1λn−1n−mλn−1"λmA=in∏()λi−λjj=mj≠ine−λit()n−mwn(t)=−1λn−1n−mλn−1"λm∑ni=m()∏λi−λjj=mj≠i10.2.2尤尔过程进一步研究尤尔过程，对于尤尔过程λ=nλ，按照对纯增值过程的解展开nn−itλnm−ewtn()=−()()()1n−1λλλn−2"m∑nim=∏()λij−λjm=ji≠n−itλnm−()n−1!nm−e=−()1λ∑n
5、()m−1!im=∏()λλij−jm=ji≠⎛⎞n−1ne−itλnm−nm−=−()1()nm−⋅!⎜⎟λ∑n⎝⎠m−1im=∏()λλij−jm=ji≠nnn()()n−m()∏λi−λj=∏iλ−jλ=λ∏i−jj=mj=mj=mj≠ij≠ij≠in−m()()()()n−i=λi−mi−m−1"2⋅1⋅n−in−i−1"2⋅1(−1)其中，n−in−m()i−m!⋅()n−i!=(−1)λ⋅()n−m!()n−m!⎛n−m⎞n−in−m=(−1)λ⋅()n−m!⎜⎜⎟⎟⎝i−m⎠nm−⎛⎞n−1nm−wtn()=−()1(nm−⋅)!⎜⎟λ⎝⎠m−1n−iλtn−me⎛⎞∑⎜⎟
6、n−in−m⎜⎟i=m(−1)λ()n−m!⎝i−m⎠n−1n−iλtn−m⎛⎞i−me⎛⎞=⎜⎜⎟⎟()(n−m!∑−1)⎜⎜⎟⎟⎝m−1⎠i=m()n−m!⎝i−m⎠⎛n−1⎞ni−m⎛n−m⎞−iλt=⎜⎜⎟⎟∑()−1⎜⎜⎟⎟e⎝m−1⎠i=m⎝i−m⎠⎛n−1⎞−imtni−m⎛n−m⎞−()i−mλt=⎜⎜⎟⎟e∑()−1⎜⎜⎟⎟e⎝m−1⎠i=m⎝i−m⎠⎛n−1⎞imtn−mk⎛n−m⎞−−kλt=⎜⎜⎟⎟e∑()−1⎜⎜⎟⎟e⎝m−1⎠i=0⎝k⎠⎛n−1⎞−imt−λtn−m=⎜⎜⎟⎟e()1−e⎝m−1⎠w(t)是一个负二项式分布。n−it−λtn−1如果m=1，即
7、初始状态为1，则相应的t时刻的分布是，w(t)=e()1−en这实际是一个几何分布。10.3生灭过程10.3.1定义，生灭过程设有随机过程ξ(t)=i,t∈Ti∈I，在任何时刻状态的转移只能从一个状态向它的临近状态转移，即状态处于n,n≥1,则可以转移到状态（n+1）或状态（n-1）；如果处于0状态，则只能转移到状态1。在t时刻处于n状态，在(t,t+Δt)时间间隔内，由状态n转移到状态（n+1）的概率为λ(t)⋅Δt+O(Δt)，
