马尔可夫链

马尔可夫链是一种随机过程，它的状态转移是由当前状态决定的，与过去的状态无关。马尔可夫链的状态转移矩阵是一个方阵，它的每一行元素之和为1，这样的矩阵称为概率转移矩阵。马尔可夫链的状态转移矩阵可以用来表示状态转移的概率。

MATLAB 马尔可夫链预测模型

例1
有一个时齐的马尔可夫链，其状态转移矩阵为：

$$\begin{bmatrix} 0.5 & 0.3 & 0.2\\ 0.2 & 0.6 & 0.2\\ 0.4 & 0.2 & 0.4 \end{bmatrix}$$

当前状态为第二个状态，求经过5步后的状态概率分布。

解

1
2
3
4
5
6

% 状态转移矩阵
P = [0.5 0.3 0.2; 0.2 0.6 0.2; 0.4 0.2 0.4];
% 初始状态
x0 = [0 1 0];
% 经过15步后的状态概率分布
x5 = x0 * P^5

输出结果为：

1
2

x5 =
    0.3552    0.3949    0.2499

例2
某农业地区的收成有三个状态，即“丰收”、“平收”和“欠收”，记为1、2、3。下表列出了该地区 1950-1989 年期间农业收成状态：

请根据以上数据，预测 1990-1999 年的收成状态。

解

40 年中有 39 次状态转移，假设马尔可夫链是时齐的，根据不同状态转移发生的频率来估计概率：

1
2
3
4
5
6
7
8
9
10
11
12
13

% 转移概率
p11 = 3/15;
p12 = 7/15;
p13 = 5/15;
p21 = 7/13;
p22 = 2/13;
p23 = 4/13;
p31 = 4/11;
p32 = 5/11;
p33 = 2/11;

% 状态转移矩阵
P = [p11 p12 p13; p21 p22 p23; p31 p32 p33];

得到状态转移矩阵为：

$$\begin{bmatrix} 0.2000 & 0.4667 & 0.3333 \\ 0.5385 & 0.1538 & 0.3077 \\ 0.3636 & 0.4545 & 0.1818 \end{bmatrix}$$

以 1989 年的收成状态为初始状态，计算往后 10 年的收成状态概率分布：

1
2
3
4
5
6
7
8

% 初始状态
x0 = [0 0 1];
% 往后 10 年的收成状态概率分布
x = zeros(11, 3);
x(1, :) = x0;
for i = 2:11
    x(i, :) = x(i-1, :) * P;
end

输出结果为：

1
2
3
4
5
6
7
8
9
10
11
12

x =
         0         0    1.0000
    0.3636    0.4545    0.1818
    0.3836    0.3223    0.2941
    0.3572    0.3623    0.2805
    0.3685    0.3499    0.2815
    0.3645    0.3538    0.2817
    0.3658    0.3526    0.2816
    0.3654    0.3530    0.2816
    0.3655    0.3528    0.2816
    0.3655    0.3529    0.2816
    0.3655    0.3529    0.2816

可以看出，往后 5 年的收成状态概率分布不断变化、逐渐稳定，到 1998 年后，收成状态概率分布收敛，得到该地区马尔可夫链的终极状态概率分布。“丰收”和“平收”状态的概率相近，而“欠收”状态的概率较低。