【极限定理】概率不等式

在现实中, 要精确计算出现的概率往往是非常困难的。对于许多问题, 我们不需要知道确切的答案, 只要得到一定范围内的答案就足够了

引子

不难理解, 我们对基本分布了解得越多, 能说的也就越多；同时我们可以证明无数多个不等式, 但是其中大部分都没什么用.。目标是找到一个能使用现成信息并推导出不平凡结论的不等式。

考虑随机变量 $X$ 均值有限，在只有均值信息的前提下, 取较大值的概率会有哪些限制

因为平均值是无定义的, 那么不能期望得到“较强”的不等式约束。弱假设的优点是适用于很多不同的情况, 而缺点是由于在很多情况下都适用, 所以它的结果并不强。

不妨假设均值 $μ = 0$ ，探讨 $P {X \geq 2}$

对 $X \sim U (- 1, 1)$ ，此时 $P {X \geq 2} = 0$
对 $X \sim U (- c, c)$ ，此时 $P {X \geq 2} = \frac{1}{2} - \frac{1}{c}$
$P {X \geq 2} \to 1$ 的随机变量？
可以选择一个较大负数配上正数如 $P (X = 2) = p, P (X = - b) = 1 - p$
加上均值为 0 的条件有 $b = \frac{2 p}{1 - p}$ ，便有 $lim_{p \to 1} P {X \geq 2} = 1$

从上述讨论可以看出 $P {X \geq 2}$ 从 0 到 1 均有对应的随机变量。因此在只有均值的情况下想要得到一个好的边界是不合理的——我们需要更多信息。这里有几种方法可以选择：马尔可夫不等式采取的方法是把随机变量限制为非负数（避免了 $P {X \geq 2} \to 1$ ）；切比雪夫不等式为方差假设一个边界, 这样就限制了分布的伸展范围，并且会让概率有一个不平凡的边界

Markov 不等式

如果 $X$ 是只取非负值的随机变量，那么对于任意 $a > 0$ ，

P {X ⩾ a} ⩽ \frac{E [X]}{a}

Proof

$\begin{aligned} E [X] & = \int_{0}^{\infty} x f (x) d x = \int_{0}^{a} x f (x) d x + \int_{a}^{\infty} x f (x) d x \\ ⩾ \int_{a}^{\infty} x f (x) d x ⩾ \int_{a}^{\infty} a f (x) d x \\ = a \int_{a}^{\infty} f (x) d x = a P {X ⩾ a} \end{aligned}$

或直观把 $X$ 位于 $0 \sim a$ 之间的所有质量都赋值于点 0，大于等于 $a$ 的质量都赋值于点 $a$ 。因为所有的质量向左转移，所以期望必然减少
file-20241002110910060|250
$E [X] \geq E [Y_{a}] = a P (Y_{a} = a) = a P (X \geq a)$ ；

$Y_{a} = {\begin{cases} 0, & X < a, \\ a, & X ⩾ a . \end{cases}$

切比雪夫不等式

若 $X$ 是具有均值 $μ$ 和方差 $σ^{2}$ 的随机变量，则对任意 $k > 0$ ，

P {| X - μ | ⩾ k} ⩽ \frac{σ^{2}}{k^{2}}

【证明思路】
利用 $(X - μ)^{2}$ 是非负随机变量，应用 Markov 不等式（ $a = k^{2}$ ）

切比雪夫，俄罗斯数学家，力学家。英文译名Chebyshev，但同时Chebyshov、 Chebishev、 Chebysheff、 Tschebischeff、Tschebyshev、Tschebyscheff和Tschebyschef 在各种资料中也是较为常见的译名

对于标准正态分布 $X$ ，与均值相差 $k$ 个标准差的概率不超过 $1 / k^{2}$ 。
可知 $P (| X | \geq 2) \leq 25 %, P (| X | \geq 5) \leq 4 %, P (| X | \geq 10) \leq 1 %$ ，而实际上真实值为 $4.55 %, 5.73 \times 10^{- 5} %, 1.52 \times 10^{- 21} %$
原因在于切比雪夫不等式的条件很弱（比 Markov 不等式稍强），适用范围广但界不紧
为寻找更好的上界，自然会引导研究随机变量的和与极限性质。在许多情况下，这些性质都是由中心极限定理决定的。

能否找到一个随机变量

X

，使得

P (| x - μ_{X} | \geq 1 / k^{2}

对所有整数

k \geq 1

均成立？

布尔不等式&邦弗伦尼不等式

从容斥方法中分离出一些有用的不等式. 容斥方法(也称为容斥原理)是精确的, 但是通过“截断”求和, 我们可以得到上界和下界。

布尔不等式

$Prob (⋃_{i = 1}^{n} A_{i}) ⩽ \sum_{i = 1}^{n} Prob (A_{i})$

对于可数多个事件 $A_{i}$ ，该不等式仍成立

邦弗伦尼不等式

设 $k$ 个事件的交集概率之和 $S_{k} = \sum_{1 ⩽ i_{1} < i_{2} < \dots < i_{k} ⩽ n} Prob (A_{i_{1}} \cap A_{i_{2}} \cap \dots \cap A_{i_{k}})$ ，则对正整数 $l, m$

\sum_{k = 1}^{2 l} (- 1)^{k - 1} S_{k} ⩽ Prob (⋃_{i = 1}^{n} A_{i}) ⩽ \sum_{k = 1}^{2 m - 1} (- 1)^{k - 1} S_{k}