【随机变量】矩母函数

矩母函数是对概率(分布列或者概率密度函数)的另一种表述，它并不是特别直观的，但是在解决某些类型的数学计算时很方便

矩母函数

一个与随机变量 $X$ 相关的矩母函数是参数 $s$ 的函数

M_{X} (s) = E [e^{s X}] = \sum_{x} e^{s x} p_{X} (x)

M_{X} (s) = \int_{- \infty}^{\infty} e^{s x} f_{X} (x) d x

一个连续随机变量的相关矩母函数和它的概率密度函数的拉普拉斯变换是基本相同的，唯一的区别是拉普拉斯变换通常使用 $e^{- s x}$ 而不是 $e^{s x}$

指数随机变量的矩母函数

设随机变量 $X$ 服从参数为 $λ$ 的指数分布 $f_{X} (x) = λ e^{- λ x}, x \geq 0$
则矩母函数

\begin{aligned} M (s) & = λ \int_{0}^{\infty} e^{s x} e^{- λ x} d x \\ = λ \int_{0}^{\infty} e^{(s - λ) x} d x \\ = λ \frac{e^{(s - λ) x}}{s - λ} |_{0}^{\infty} (当 s < λ 时) \\ = \frac{λ}{λ - s} \end{aligned}

严格地说， $M (s)$ 只在使得 $E [e^{s X}]$ 有限的 $s$ 上有定义，如上例只有 $s < λ$ 时矩母函数有意义

从矩母函数到矩

“矩母函数”这一名称是由于随机变量的矩可以通过矩母函数的公式轻易计算出而得来的。
考虑连续随机变量 $X$ ，对其矩母函数定义求导：

\begin{aligned} \frac{d}{d s} M (s) & = \frac{d}{d s} \int_{- \infty}^{\infty} e^{s x} f_{X} (x) d x \\ = \int_{- \infty}^{\infty} \frac{d}{d s} e^{s x} f_{X} (x) d x \\ = \int_{- \infty}^{\infty} x e^{s x} f_{X} (x) d x . \end{aligned}

考虑 $s = 0$ 时的特殊情况，可得到

{\frac{d}{d s} M (s) |}_{s = 0} = \int_{- \infty}^{\infty} x f_{X} (x) d x = E [X] .

{\frac{d^{n}}{d s^{n}} M (s) |}_{s = 0} = \int_{- \infty}^{\infty} x^{n} f_{X} (x) d x = E [X^{n}] .

离散随机变量同理，因此可通过矩母函数求导计算随机变量的 $n$ 阶矩

常见分布的矩母函数

离散概率分布	概率质量函数 $p (x)$	矩母函数 $ϕ (t)$	均值	方差
二项分布,参数为 $n, p, 0 \leq p \leq 1$	$(\binom{n}{x}) p^{x} (1 - p)^{n - x}, x = 0, 1, . . ., n$	$(p e^{t} + (1 - p))^{n}$	$n p$	$n p (1 - p)$
泊松分布,参数为 $λ, λ > 0$	$\frac{e^{- λ} λ^{x}}{x!}, x = 0, 1, 2, . . .$	$e^{λ (e^{t} - 1)}$	$λ$	$λ$
几何分布,参数为 $p, 0 \leq p \leq 1$	$p (1 - p)^{x - 1}, x = 1, 2, . . .$	$\frac{p e^{t}}{1 - (1 - p) e^{t}}$	$\frac{1 - p}{p}$	$\frac{1 - p}{p^{2}}$

连续概率分布	概率密度函数 $f (x)$	矩母函数 $ϕ (t)$	均值	方差
$(a, b)$ 上的均匀分布	$\frac{1}{b - a} (a \leq x \leq b)$	$e^{b t} - e^{a t}$	$\frac{a + b}{2}$	$\frac{(b - a)^{2}}{12}$
指数分布,参数为 $λ, λ > 0$	$λ e^{- λ x} (x \geq 0)$	$\frac{λ}{λ - t} (t < λ)$	$\frac{1}{λ}$	$\frac{1}{λ^{2}}$
伽马分布,参数为 $(n, λ)$ , $λ > 0$	$\frac{λ^{n} x^{n - 1} e^{- λ x}}{(n - 1)!} (x \geq 0)$	$(\frac{λ}{λ - t})^{n} (t < λ)$	$\frac{n}{λ}$	$\frac{n}{λ^{2}}$
正态分布,参数为 $(μ, σ^{2})$	$\frac{1}{\sqrt{2 π σ^{2}}} e^{- \frac{(x - μ)^{2}}{2 σ^{2}}}$	$e^{μ t + \frac{σ^{2} t^{2}}{2}}$	$μ$	$σ^{2}$

矩母函数可逆性

【矩母函数可逆的条件】
假定随机变量 $X$ 的矩母函数 $M_{X} (s)$ 满足：存在一个正数 $a$ ，对在区间 $[- a, a]$ 中的任意 $s, M_{X} (s)$ 都是有限的，则矩母函数 $M_{X} (s)$ 唯一地决定 $X$ 的分布函数

证明略

Laplace 变换与矩母函数

【Laplace transform】对于一个非负随机变量 $X$ ，定义其拉普拉斯变换 $g (t), t \geq 0$ 为

g (t) = ϕ (- t) = E [e^{- t X}]

Laplace 变换在 $t$ 处的值即矩母函数在 $- t$ 处的值
相比矩母函数，Laplace 函数值域为 $[0, 1]$
相同Laplace 变换的非负随机变量也具有相同的概率分布（同矩母函数，也可由概率分布函数右连续，而连续函数的 Laplace 变换唯一得出）

有显式的公式可以让我们从随机变量的矩母函数导出它的分布列或概率密度函数，但是使用起来相当困难
实际上,矩母函数通常可以基于已知分布矩母函数组合的表格，通过“类型配合”进行反演

几何随机变量的矩母函数

已知随机变量 $X$ 的矩母函数为$$M(s)=\frac{p\mathrm{e}^s}{1-(1-p)\mathrm{e}^s}$$
$p$ 是一个常数, 且 $0 \leq p \leq 1$ ，想要求出 $X$ 的分布。
【解】矩母函数具有展开式 (利用 $\frac{1}{1 - α}$ 的幂级数展开)

M (s) = p e^{s} (1 + (1 - p) e^{s} + (1 - p)^{2} e^{2 s} + (1 - p)^{3} e^{3 s} + \dots)

可以通过读取 $e^{k s}$ 的系数得到 $P (X = 1) = p, P (X = 2) = p (1 - p), \dots$
从而一般地推出$$\mathrm{P}(X=k)=p(1-p)^{k-1},\quad k=1,2,\cdots$$
为参数 $p$ 的几何分布

多随机变量的矩母函数

独立随机变量和

独立随机变量的和的矩母函数是和项的矩母函数的乘积。这样也提供了卷积公式之外的另一个便利的公式

M_{X + Y} (s) = E [e^{s (X + Y)}] = E [e^{s X} e^{s Y}] = E [e^{s X}] E [e^{s Y}] = M_{X} (s) M_{Y} (s)

$M_{X_{1} + \dots + X_{n}} (s) = M_{X_{1}} (s) \dots M_{X_{n}} (s)$
独立泊松随机变量之和仍为泊松随机变量 $M_{X + Y} (s) = e^{(λ + μ) (e^{s} - 1)}$
独立正态随机变量之和仍为正态随机变量 $M_{X + Y} (s) = e^{\frac{(σ_{x}^{2} + σ_{y}^{2}) s^{2}}{2} + (μ_{x} + μ_{y}) s}$

联合分布的矩母函数

M_{X_{1}, \dots, X_{n}} (s_{1}, \dots, s_{n}) = E [e^{s_{1} X_{1} + \dots + s_{n} X_{n}}]

小结

随机变量 $X$ 的矩母函数定义如下： $M_{X} (s) = E [e^{s X}] = {\begin{cases} \sum_{x} e^{s x} p_{X} (x), & 若 X 为离散型, \\ \int_{- \infty}^{\infty} e^{s x} f_{X} (x) d x, & 若 X 为连续型 . \end{cases}$
随机变量的分布完全由它的矩母函数确定
利用矩母函数计算随机变量的各阶矩： $M_{X} (0) = 1, \frac{d}{d s} M_{X} (s) |_{s = 0} = E [X], \frac{d^{n}}{d s^{n}} M_{X} (s) |_{s = 0} = E [X^{n}]$
若 $Y = a X + b$ ,则 $M_{Y} (s) = e^{s b} M_{X} (a s)$
若 $X$ 和 $Y$ 相互独立，则 $M_{X + Y} (s) = M_{X} (s) M_{Y} (s)$