随机过程练习题(三)参考解答

《随机过程练习题(三)参考解答》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、随机过程练习题（三）参考解答1.将一颗骰子扔很多次，记为第次扔正面出现的点数，问是马尔科夫链吗？如果是，试写出一步转移概率矩阵。解：由于的取值只能是，故状态空间为。由于的取值的概率与以前的的取值完全无关，所以是是马尔科夫链。故.它的一步转移概率矩阵为：2.一个质点在直线上作随机游动，一步向右的概率为（），一步向左的概率为，。在和处放置吸收壁。记为第步质点的位置，它的可能值是。试写出一步转移概率矩阵。解：状态空间为。由题意得一步转移概率矩阵为：3.在一个罐子中放有50个红球和50个兰球。每随机地取出一球后，再放一新球进去

2、，新球为红球和兰球的概率各为。第次取出一球后，留下的红球数记为。问是马尔科夫链吗？试写出一步转移概率矩阵（当）。解：是马尔科夫链。状态空间。.，即剩下个红球，再取一次又放入一个新球后可能剩个红球，个红球，个红球，则，，，.当，它的一步转移概率矩阵为：4.扔一颗骰子，如果前次扔出现点数的最大值为，就说的值等于。试问是不是马尔科夫链？并写出一步转移概率矩阵。解：由于的取值只能为中的值，故状态空间为。由于是前次扔骰子出现的最大点数，的取值的概率只与的取值有关，因为为前次扔骰子出现的最大点数，而与以前的的取值无关，因此是马尔科

3、夫链。的一步转移概率为：的一步转移概率矩阵为：5.将适当的数字填在下面的空白处，使矩阵是一步转移概率矩阵。解：根据（），可得：6.设马尔科夫链的一步转移概率矩阵为试求二步转移概率矩阵。解：二步转移概率矩阵为：.7.设马尔科夫链的一步转移概率矩阵为其中，，。试求二步转移概率矩阵和三步转移概率矩阵，并用数学归纳法证明一般步转移概率矩阵为.（1）解：二步转移概率矩阵为：.三步转移概率矩阵为：.（2）证明：当时，.即为一步转移概率矩阵。当时，等式成立。设当（且为正整数）时，等式成立，则.当时，.当时，等式成立。由、知，对于任意

4、正整数，等式均成立。