【鞅与停时】停时理论

停时

Stopping time

设 ${X_{n}, n \geq 0}$ 是一个随机变量序列，称随机函数 $T$ 是关于过程 ${X_{n}, n ⩾ 0}$ 的停时，如果

$T$ 在 ${0, 1, 2, \dots, \infty}$ 上取值；
对每一个 $n \geq 0$ ， ${T = n} \in σ (X_{0}, X_{1}, \dots, X_{n})$ ．

例如确定时刻 $T = n$ ，首达时刻 $T (A) = inf {n, X_{n} \in A}$ 都为停时。

定义说明停时 $T$ 仅能依靠 $n$ 时刻及之前的信息确定。即赌博者仅仅以过去的输赢判断，因此不能采用“下一局赢了就停止赌博”的策略作为停时。

如果和

T

和

S

是两个停时，那么

T + S, min (T, S), max (T, S)

都是停时

设 $F_{n} = σ (X_{0}, X_{1}, \dots, X_{n})$

${T ⩽ n} = ⋃_{k = 0}^{n} {T = k} \in F_{n}$
${T > n} = \overset{―}{{T ⩽ n}} \in F_{n}$

\begin{aligned} {min (T, S) = n} & = {\begin{array}{c} n | n ⩽ T, n ⩽ S, S = n or T = n \end{array}} \\ = {T ⩾ n} ⋂ {S ⩾ n} ⋂ ({S = n} ⋃ {T = n}) \\ \in F_{n} \end{aligned}

同理易证其他两个也为停时

Stopping Time Theorem

有时也称作Optional Stopping Theorem，强调停时的“可选性”（即停时策略的自主性），一般无需区分

在时间被“停止”后，鞅的性质是否会发生显著变化？

Theorem

设 $M_{n}$ 是一个上鞅， $T$ 是满足 $P (T < \infty) = 1$ 的停时，则以下结论成立：

$M_{T \land n}$ 仍然是上鞅；
特别地，有 $E (M_{T \land n}) \leq E (M_{0})$ 。

$T \land n = min {T, n}$ ，上述定理改为鞅/下鞅对应结论（ $E (M_{T \land n}) =, \geq E (M_{0})$ ）仍然成立。

为何有 $M_{T \land n}$ 的形式？原因在于对于鞅 $M_{n}$ ，不能保证得到 $E (M_{T}) = E (M_{0})$

CounterExample

设随机序列 $S_{n} = 1 + \sum_{k = 1}^{n} X_{k}, X_{k} = \pm 1 $ 等概率发生。定义停时 $T = min {n : S_{n} = 0}$
此时，尽管 $S_{n}$ 是鞅，且 $P {T < \infty} = 1$ ，但 $E (S_{T}) = 0 \neq 1 = E (S_{0})$

上述反例的关键点在于 $P {T < \infty} = 1 but E {T} = \infty$ （零常返，也可证明如下）

由于对称随机游走易知是常返的，因此有概率 1 回到任意整数点，即说明 $P {T < \infty} = 1$
设从状态 $k$ 出发首次到达 0 的期望时间为 $E_{k} [T]$ ，则有

E_{k} [T] = 1 + \frac{1}{2} E_{k + 1} [T] + \frac{1}{2} E_{k - 1} [T]

E_{1} [T] = 1 + \frac{1}{2} E_{0} [T] + \frac{1}{2} E_{2} [T]

由对称性 $E_{0} [T] = E_{2} [T]$ 可知 $0 = 1 + E_{0} [T]$ ，矛盾！唯一解释为 $E {T} = E_{1} [T] = \infty$

这里列出相对更常用的定理：

Stopping Time Theorem

设 $X_{t} $ 是鞅， $τ$ 是停时，若满足以下条件，则 $E [X_{τ}] = E [X_{0}]$

可积性： $E [| X_{τ} |] < \infty$
$τ$ 的期望有限： $E [τ] < \infty$

该定理有一些条件“相对更宽”的版本（比如在一些情况下期望有限等价于几乎必然有限），因为上述定理涵盖了大部分应用场景，这里不过多赘述。重点关注下面停时定理的应用。

停时定理的应用

通过例子说明停时定理的应用，关键在于构建鞅，确认可选停时定理成立的充分条件

比较首达时间的概率

设 $X_{1}, \dots$ 是独立同分布的随机过程，且 $P (X_{i} = 1) = P (X_{i} = - 1) = \frac{1}{2}$ 。设 $S_{n} = x + \sum_{k = 1}^{n} X_{k}$ , $τ = min {n : S_{n} \notin (a, b), a < x < b}$ ，试求解 $P_{x} (V_{a} < V_{b})$

鞅的构造
$S_{n} = E [S_{n + 1} | F_{n}]$ 是鞅
停时 $τ$ ，满足几乎必然有限
通过下式即可联立解得 $P_{x} (V_{a} < V_{b}) = P_{x} (S_{τ} = a) = \frac{b - x}{b - a}$

\begin{aligned} E (S_{T}) = a P_{x} (S_{τ} = a) + b P_{x} (S_{τ} = b) = x = E (S_{0}) \\ P_{x} (S_{τ} = a) + P_{x} (S_{τ} = b) = 1 \end{aligned}

可见，通过构造鞅分析随机过程的趋势，从而避开复杂的路径依赖随机问题。

同上，修改概率

P (X = 1) = p \neq \frac{1}{2}, P (X = - 1) = 1 - p

，其余不变

这里 $S_{n}$ 不再是一个鞅，按直观想法易构造鞅 $S_{n} - n E {X_{i}} = S_{n} - n (p - q), q = 1 - p$ （对应上一个问题即 $E {X_{i}} = 0$ ），根据停时定理有

E (S_{τ}) - (2 p - 1) E (τ) = x

但通常 $E (τ)$ 是难以计算的，这里也是；一个自然的思路就是找到一个不会带来额外未知项的鞅 @ 指数鞅

构造指数鞅 $M_{n} = (\frac{q}{p})^{S_{n}}$
解方程组

\begin{aligned} {(\frac{q}{p})}^{x} = E_{x} (M_{τ}) = {(\frac{q}{p})}^{a} P_{x} (S_{τ} = a) + {(\frac{q}{p})}^{b} P_{x} (S_{τ} = b) \\ P_{x} (s_{τ} = a) + P_{x} (S_{τ} = b) = 1 \end{aligned}

$P_{x} (V_{a} < V_{b}) = P_{x} (S_{τ} = a) = \frac{(\frac{q}{p})^{b} - (\frac{q}{p})^{x}}{(\frac{q}{p})^{b} - (\frac{q}{p})^{a}}$

同上，计算

E_{x} (τ)

$p \neq 1 / 2$ 时
$S_{n} - n μ$ 是鞅， $E (S_{τ} - τ μ) = E (S_{0}) = x$ ，利用上题求得的 $P_{x} (S_{τ} = a), P_{x} (S_{τ} = b)$ 解得

E_{x} (τ) = \frac{(E_{x} (S_{τ}) - x)}{μ} = \frac{x - a}{q - p} - \frac{b - a}{q - p} \frac{(\frac{q}{p})^{x} - (\frac{q}{p})^{a}}{(\frac{q}{p})^{b} - (\frac{q}{p})^{a}}

$p = 1 / 2$ 时，无法通过 $S_{n}$ 得到 $τ$ 的期望，可以转而利用二阶鞅 $M_{n} = (S_{n} - n μ)^{2} - n σ^{2} = S_{n}^{2} - n$ ，因此有

E (S_{τ}^{2}) - E (τ) = E (M_{0}) = x^{2}

\begin{array}{r} a^{2} \frac{b - x}{b - a} + b^{2} (1 - \frac{b - x}{b - a}) - E (τ) = x^{2} \\ E (τ) = - x^{2} + (a + b) x - a b = - (x - a) (x - b) \end{array}

停时的随机性质

考虑随机变量 $S_{n} = S_{0} + \sum_{i = 1}^{n} X_{i}$ ,其中 $X_{i}$ 独立同分布，且 $X_{i} \sim N (μ, σ^{2})$ , $μ > 0$ , 研究 $T = min {n : S_{n} \leq 0}$ 的随机性质

$T$ 即等价于投资问题中的最近破产时间

通过 $ϕ (θ) = E (e^{θ X_{1}}) = e^{\frac{θ^{2} σ^{2}}{2} + θ μ} = 1$ 构造鞅 $M_{n} = e^{θ S_{n}}, θ = - 2 μ / σ^{2}$
然而 $E {T}$ 并不有限，有 $E (M_{T \land n}) = E (M_{0}) = e^{θ S_{0}}$
对 $T \land n$ 分析有

E (M_{T \land n}) = E (M_{T}) I (T \leq n) + E (M_{n}) I (T > n) \geq E (M_{T}) I (T \leq n) \geq E (I (T \leq n)) = P (T \leq n)

$n \to \infty$ 即有 $P (T < \infty) \leq e^{θ S_{0}} = e^{2 μ S_{0} / σ^{2}}$

对于鞅，通常单边的首达时间期望无穷，而涵盖初始起点的区间的离出时间期望有限