半Markov过程

考虑一个含有状态 1,2,3 的 Markov 链。但每进入一个状态都会在其中保持均值为 $μ_{i} (i = 1, 2, 3)$ 的随机时间。则该过程在不同状态的时间的比例是多少？

半马尔可夫过程

假设一个过程具有 $N$ 个状态，每个状态保持一个具有均值 $μ_{i}$ 的随机时间，然后以概率 $P_{i j}$ 转移到状态 $j$ ，这样的过程即半马尔可夫过程。

计算每个状态的长程时间比例 $P_{i}$
- 记 $X_{n}$ 为 $n$ 次转移后的状态，则 ${X_{n}, n \geq 0}$ 是以 $P$ 为转移概率的 Markov 链，可求平稳概率 $π_{i}$ （假定链中状态互通，解非负唯一）
$\sum_{i =}^{N} π_{i} = 1, π_{i} = \sum_{j = 1}^{N} π_{j} P_{j i} (i = 1, 2, \dots N)$
- 由于只要访问状态 $i$ 则停留期望时间 $μ_{i}$ 则显然 $P_{i}$ 为 $π_{i}$ 加权平均
$P_{i} = \frac{π_{i} μ_{i}}{\sum_{j = 1}^{N} π_{j} μ_{j}} (i = 1, 2, \dots N)$
当停留时间分布为连续时， $P_{i}$ 也表示该过程在 $t \to \infty$ 时在状态 $i$ 的概率