资源描述：
《马尔科夫学习笔记整理.pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。
1、离散状态&时间的马尔科夫学习笔记2017年9月25日20:26苏州太阳花感知技术有限公司孙静远关键词：马尔科夫，不可约，遍历，渐进稳定状态，极限分布=============Background===============================1.马氏性P{??=??
2、??−1=??−1,??−2=??−2,…,?0=?0}=?{??=??
3、??−1=??−1}当前状态仅决定遇上一个时间点的状态2.齐次性即平稳性P{??=??
4、??−1=??−1}=?{?1=?1
5、?0=?0}两个时间点间的状态变化规律不随时间的改变而改变3.转移概率??=?
6、{?=?
7、?=?}表示从状态?出发，?步到达状态?的概率???1?=1时，一般简略不写规定?0=0,?0=1????对于一个状态空间为?={1,2,3,…,?}的齐次马尔可夫链，其?步转移概率矩阵为??⋯??111??(?)=[??]=[⋮⋱⋮]???,?∈?????1⋯???由的定义可知其具有性质：??≥0;∑??=1?????∈?4.Chapman-Kolmogorov方程??+?=∑????????????(?+?)=?(?)?(?)转移概率为各路径概率之和5.初始概率（分布）&绝对概率（分布）初始概率??=?{?0=?}绝对概率?(?)=?{?=
8、?}=∑???=∑?(?−1)???????????初始分布?(0)=[?1⋯??]绝对分布?(?)=[?1(?)⋯??(?)]=[?1⋯??]?(?)=[?1(?−1)⋯??(?−1)]?初始概率（分布）为起始状态绝对概率（分布）为经过?步转移过后的概率（分布）P{??=??,??−1=??−1,…,?1=?1}=∑?????1…???−1???=============StateCategory============================1.周期性?=gcd{?
9、??>0}，若?≥1则状态?有周期且周期?=?(periodicwith??
10、???periodd)，若??=1则状态无周期(aperiodic,returntostate-icanoccuratiregulartimes)一个状态有周期意味着一定存在?，使得当n≥?时???>0，而???+?=0,?∈11????[1,?−1]那么返回自身状态的概率??永远不可能稳定(一直重复?−1个0&一个大于0的??概率的循环)而对于一个无周期的状态而言，若{?
11、??>0}非空，一定存在?，使得当n≥???21时??>0，也就意味着该状态常返？不一定，环上可能有能到闭集或吸收态的??“岔路”任意两个互质的数?1,?2,?1
12、实数集中任意一个数考虑?2时，仅需列出[1,?]的线性组合?1?1+?2?2，（尽可能使得负系数大一点）?2≥???(min(1,?1))?1+???(min(1,?2))?2即可若{?
13、??>0}为空，则该状态一定非常返??通常情况下用的更多的是将无周期作为判定遍历性条件之一，有周期的时候周期有什么用呢？另外，实际在各种推论定理中，感觉无周期更像是有周期的一个周期等于一的特例----------------------------周期的等价定义?=gcd{?
14、??>0}???{?
15、??>0}表示所有使得从?出发的状态可以回到状态?的步数，{?
16、??>0
17、}表示所????有使得从?出发的状态首次回到状态?的步数，转移步数一定是首达步数的线性组合，即{?
18、??>0}中的任何一个元素均可以用{?
19、??>0}中元素的线性组合表????示，所以这两个集合的最大公约数一定相等2.常返性首中（达）概率??表示从状态?出发?步首次到达状态?的概率，规定?0=0?????=∑∞??各步数首次返回的概率之和求法猜想???=1??首中概率(?)???表示从状态?出发，第?步首次到达状态?的概率任选一条符合要求的路径，前?−1步均不经过状态?对转移概率矩阵做相应的修改，令1⋯?⋯?1?11⋯0⋯?1?⋮⋮⋱⋮⋱⋮?∗=???1
20、⋯0⋯???⋮⋮⋱⋮⋱⋮?[??1⋯0⋯???]猜测?(?)=???(??−1)???(?)???∗?理解：令转移概率矩阵的第?列为0即是使任何一个状态不能转移到状态?因此，??−1保证了前?−1步均不经过状态?∗只验证过在k=2时三维转移概率阵和四维转移概率阵推广一下，如果要求路径中不可以有从状态?到状态?的步骤，那就可以把转移概率阵中???的改为0，再进行之后的计算首达概率与转移概率的关系???=∑????−????????=1例：已知一个马尔科夫链的状态图如下，求??11易知当?为奇数时，??=0；当?=2?为偶数时112???1?2?=∑????
21、−?=∑?2??2?−2?=∑?2?−2?11111111112?11?=1?=
