数学模型与数学建模（急救版80+）常考知识点(二)

发布时间：2023年12月30日

马尔可夫预测模型（与过去无关）

一、定义

设有随机过程X_{T}=\left \{ X_{T},t\in T\right \}, T=\left \{ 0,1,2,\cdots \right \}，其中状态空间为I=\left \{ 0,1,2\cdots \right \}?

若对任意的正整数k，任意t_{i} \in T,t_{i}< t_{i+1}(i=0,1,2,\cdots ,k+1)及任意非负整数i_{_{0}},i_{_{1}},i_{_{2}},\cdots i_{_{k+1}}，有

P\left \{ X_{t_{k+1}}=i_{k+1} \mid X_{t_{0}}=i_{0}, X_{t_{1}}=i_{1}, X_{t_{2}}=i_{2},\cdots X_{t_{k}}=i_{k} \right \} =P\left \{ X_{t_{k+1}}=i_{k+1}\mid X_{t_{k}}=i_{k} \right \}\cdots \cdots \cdots\cdots \cdots \cdots \cdots \cdots \cdots (1.1)? ? ? ?? ? ? ? ? ? ? ? ??

则称X_{T}为离散时间的马尔可夫链，简称马尔可夫链或马氏链.其中上式表示的性质为马尔可夫性或无后效性. 无后效性的直观意义是：如果把时刻t_{k}看作现在，那么t_{k+1}是将来的时刻，而t_{0},t_{1},t_{2},\cdots ,t_{k+1}则是以前的时刻，马尔可夫性表示在确切知道系统现在状态的条件下，系统将来状态的概率分布只与现在的状态有关，与之前的状态无关。

二、C-K方程

对于任意的正整数k,l及i,j\in I有：

p^{(k+l)}_{ij}=\sum_{r\in I}p^{(k)}_{ij}+p^{(l)}_{ij}\cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots (1.2)

根据定理(1.1)C-K方程也可以写成矩阵形式为P^{(k+l)}=P^{(k)}P^{(l)}. 因此，我们有k+1步转移概率与一步转移概率之间的关系为p^{(k+1)}_{ij}=\sum_{j_{1},j_{2},j_{3},\cdots j_{k\in I}} p_{ij_{1},j_{2},j_{3}\cdots ,j_{k}j}

n步转移概率矩阵P^{(n)}与一步转移概率矩阵P的关系为P^{(n)}=P^{n}

三、转移概率

条件概率P\left \{ X_{n+k}=j\mid X_{n}=i \right \}称为在时刻n系统从状态i经过k步，转移到状态j的k步转移概率，记为p^{(k)}_{ij}(n)=p\left \{ X_{n+k}=j\mid X_{n}=i \right \},i,j\in I.?

一般地，转移概率p^{(k)}_{ij}(n)不仅与状态i和j有关，而且与时刻n有关，当p^{(k)}_{ij}(n)与n无关时，表明马尔可夫链具有平稳的转移概率，此时称马尔可夫链为（时间）齐次的马尔可夫链，并把p^{(k)}_{ij}(n)记为p^{k}_{ij}.? 以下以仅讨论齐次的马尔可夫链，通常将“齐次”两字省略. 当k=1时，把p^{(1)}_{ij}记为p_{ij}，称p_{ij}为马尔可夫链的一步转移概率.? 若用P^{k}表示马尔可夫链的k步转移概率所组成的矩阵，则P^{k}=(p^{(k)}_{ij})称为k步转移概率矩阵.? 此外，特别地，规定p^{(0)}_{ij}=\delta =\left\{\begin{matrix} 0 ,i\neq j& \\ 1,i=j& \end{matrix}\right.

进一步，当k=1时，一步转移概率组成的矩阵P^{(1)}=P=(p_{ij}). 显然，转移概率矩阵具有如下性质：

P_{ij}\geqslant 0,i,j=1,2,\cdots \cdots N? ? ? ? ?

即每个元素为非负

\sum_{j=1}^{N}P_{ij}=1,i=1,2,\cdots \cdots N? ?

即矩阵每行的元素和为1

马氏链模型说明【重在理解】

1.时间、状态均为离散的随机转移过程

2.系统在每个时期所处的状态是随机的

3.从一时期到下时期的状态按一定概率转移

4.下时期状态只取决于本时期状态和转移概率

5.本质：已知现在，将来与过去无关（无后效性）

6.注意转移概率与初始分布的区别与联系

7.每行的概率之和为1

8.求解某马尔可夫链具有稳定性，只看列，而不看行（易错）

题目一?

甲、乙两人进行同一场比赛（双方对战），设每局比赛中甲胜的概率是p,乙胜的概率是q,和局的概率是r，其中p+q+r=1。设每局比赛后，胜者记“+1”分，负者记“-1”分，和局不记分。当两人中有一人获得2分结束比赛。以X,,表示比赛至第n局时甲获得的分数。

(1)写出状态空间；

(2)求p(2);

(3)问在甲获得1分的情况下，再赛二局可以结束比赛的概率是多少?

解：

(1)记甲获得“负2分”为状态1,获得“负1分”为状态2,获得“0分”为状态3,获得“正1分”为状态4,获得“正2分”为状态5,则状态空间为：

一步转移概率矩阵

P=\begin{bmatrix} 1 &0 &0 &0 &0 \\ q& r &p &0 &0 \\ 0& q & r & p & 0\\ 0&0 &q &r &p \\ 0&0 &0 &0 &1 \end{bmatrix}

(2)二步转移概率矩阵

P^{(2)}=P^{2} =\begin{bmatrix} 1 & 0 &0 & 0 & 0\\ q+rp & r^{2}+pq & 2pr & p^{2} & 0\\ q^{2}& 2rq & r^{2}+2pq & 2qr &p^{2} \\ 0& q^{2} & 2qr & r^{2}+pq & p+rq\\ 0& 0 & 0 & 0 & 1 \end{bmatrix}

(3)

在P^{2}中p^{(2)}_{45}是在甲得1分的情况下经二步转移至得2分

p^{2}_{41}是在甲得1分的情况下经二步转移至-2分(即乙得2分)从而结束比赛的概率。

所以题中所求概率为

p^{(2)}_{45}+p^{(2)}_{41}=(p+rp)+0=p(1+r)

马尔可夫遍历性与稳定性【计算】

题目二?

设马尔可夫链X_{T}=\left \{ X_{n} ,n=0,1,2,\cdots \right \}的状态空间为I=\left \{ 1,2,3 \right \}，其一步转移矩阵为P=\begin{bmatrix} 1/3 &2/3 &0 \\ 1/3& 0 &2/3 \\ 0& 1/3 &2/3 \end{bmatrix}

试求证此马尔可夫链具有遍历性，并求其平稳分布.

解：

由于P^{(2)}=P^{2}=\begin{bmatrix} 1/3 &2/9 &4/9 \\ 1/9 & 4/9 &4/9 \\ 1/9& 2/9 &2/3 \end{bmatrix}

所以，n_{0}=2时，对一切i,j\in I都有p^{(2)}_{ij}>0，因此该马尔可夫链具有遍历性。

由定理(1.2)，建立方程组

\left\{\begin{matrix} \pi(1) =\pi(1)/3+\pi (2)/3 & \\ \pi(2)=2\pi(1)/3+\pi(3)/3 & \\ \pi(3)= 2\pi(2)/3+2\pi(3)/3 & \\ \pi(1)+\pi(2) \pi(3)=1 &\\ \pi (1)>0,\pi (2)>0,\pi (3)>0 \end{matrix}\right.

解得：\pi (1)=1/7,\pi (2)=2/7,\pi (3)=4/7

此时，(\pi (1),\pi (2),\pi (3))=(1/7,2/7,4/7)即为该马尔可夫链多平稳分布.

【总结】

本节在于讲述马尔可夫模型（链）的理论知识内容，要求学会理解，会做题，其次在于应用

马尔可夫预测模型——数学模型与数学建模（急救版80+）常考知识点(二)

若对各位有帮助的，请点赞收藏哦，以防下次找不到了哦！！！

文章来源:https://blog.csdn.net/qq_70423325/article/details/135258909
本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
最新文章