【极限定理】收敛类型总结

几乎处处收敛&依概率收敛

依概率收敛

Convergence in probability

We call $X_{n} \overset{p}{\to} X$ (sequence of random variables converges to X) if

lim_{n \to \infty} P (‖ X_{n} - X ‖ \geq ϵ) = 0, \forall ϵ > 0

In a general metric space, with metric ρ, the above definition becomes

lim_{n \to \infty} P (ρ (X_{n}, X) \geq ϵ) = 0, \forall ϵ > 0

几乎处处收敛

X_{n}

converges almost surely to

X

We say that

X_{n} \overset{a . s .}{\to} X

If $P (lim_{n \to \infty} X_{n} \neq X) = 0$
i.e. $P (lim_{n \to \infty} ∥ X_{n} - X ∥ \geq ϵ) = 0, \forall ϵ > 0$

两者区别在于以概率收敛极限在外，几乎处处收敛极限在概率函数内。
可将随机变量 $X$ 与概率 $P$ 看做两个函数，

$P : F \to [0, 1]$ ，其中 $F$ 为可测空间 $(Ω, F)$ 中的 $F$
$X : Ω = {w_{1}, w_{2}, \dots} \to R$ ；一个完整的随机变量序列可表示为 $X_{1} (w_{i}), X_{2} (w_{i}) \dots X_{n} (w_{i})$
对应高中函数收敛的定义（每个支撑集中点均收敛 $lim_{n \to \infty} f_{n} (x_{i}) \to f (x_{i})$ ），几乎处处收敛即为概率版本

{w_{a . s .}} = {w_{i} | lim_{n \to \infty} X_{n} (w_{i}) = X (w_{i}), i = 1, 2 \dots}

即每个元素 $w$ 均要满足收敛，使得 $lim_{n \to \infty} X_{n} (w_{a . s .}) = X (w_{a . s .})$ ，那么才能有 $P ({w_{a . s .}}) = 1$

而依概率收敛只需要先计算出 $P (‖ X_{n} - X ‖ \geq ϵ)$ 的概率，整个概率随 $n$ 趋于 0 即可，无法要求某个点的随机变量序列 $X_{n} (w_{i}) \to X (w_{i})$

p 阶收敛

Convergence in the p-th mean

$X_{n} \overset{L^{p}}{\to} X : lim_{n \to \infty} E [∥ X_{n} - X ∥^{p}] = 0$

均方收敛

mean square convergence， $p = 2$ 时的 p-mean 收敛

弱收敛

Weak convergence or convergence in distribution

$X_{n} \overset{d}{\to} X : P (X_{n} \leq x) \to P (X \leq x)$

for all $X \in R^{d}$ such that $P (X \leq x)$ is continous. Note that $P (X \leq x) = P (X \in (- \infty, x_{1}] \times \dots \times (- \infty, x_{d}])$

(alternative def)

X_{n} \overset{d}{\to} X : E [f (X_{n})] \to E [f (X)]

for all bounded continuous function $f$

上述定义为随机变量的依分布收敛，其随机变量序列无法收敛到一个具体的值而是一个随机值，但可以刻画出其分布函数。

随机变量收敛间关系

graph LR;
a[几乎处处收敛]-->b[依概率收敛]
b-->c[弱收敛]
d[p-mean 收敛]-->b

几乎处处收敛———>依概率收敛———>弱收敛
p-mean 收敛———>依概率收敛

参考

几乎处处收敛和依概率收敛 - zhihu