【Stats300A】L1

The Big Picture

统计学的任务
core statistical questions
- Modeling（如何对生成数据进行建模？）
- Methodology（进行统计推断的恰当数学计算工具）
- Analysis（如何评估与对比不同推断）

对于 methodology 与 modeling，更多关注处理问题的经验（Stats 305，306）。
本系列（Stats 300A）侧重 Analysis，通过严谨的数学方法考虑统计推断的最优性。300A 主要关注 finite sample answer；300B 关注 asymptotic answer

Decision Theory

Framework

决策理论的框架可以提供回答上述核心问题的方法

inference <——包含下列三要素的 decision problem

Statistical model
可以认为数据 $X$ 是从分布 $P_{θ} \in P$ 中获得，只是 $θ$ 的真实值未知

statistical model

A statistical model is a family of distributions $P$ , indexed by a parameter $θ$ .

P = {P_{θ} : θ \in Ω}

Here $θ$ is the parameter, $Ω$ is the parameter space, and each $P_{θ}$ is a distribution. Often $Ω \subset R^{k}$ .

Weighted coin flips

考虑抛硬币结果序列 $X_{1}, \dots, X_{n} \in {0, 1}$ （0/1 代表正/反面）。目标为评估正面出现的概率
可以建模该过程为来自 Bernoulli 分布的独立采样 $P = {B e r (θ) : θ \in [0, 1] = Ω}$ 。则 $P_{θ} (X_{i} = 1) = θ$

decision procedure
$δ : X \to D$ 从样本空间到决策空间的映射

Weighted coin flips

假设建模为 $P = {B e r (θ)}$ ，我们关心对 $θ$ 的估计或者基于 $θ$ 的假设检验

(estimator)决策空间 $D = [0, 1]$ ，the decision procedure might be $δ (X) = \frac{1}{n} \sum_{i = 1}^{n} X_{i}$ .
(hypothesis test) 决策空间 $D = {accept, reject}$ . One possible decision procedure is $δ (X) = ‘reject if \frac{1}{n} \sum_{i = 1}^{n} X_{i} \leq \frac{1}{2}, accept otherwise’$ .

loss function
$L : Ω \times D \to R^{+}$ . $L (θ, d)$ 表示在真实参数 $θ$ 下采取决策 $d$ 的 penalty

Squared-error loss

a common loss function is the squared-error loss $L (θ, d) = (θ - d)^{2}$ .

Analyzing Procedures

*需要一个评估 decision 的指标——> risk function *

Risk

R (θ, δ) = E_{θ} {L (θ, δ (X))}

Risk 函数给出了一种可以评估比较 procedures 的方式。
如果存在 $δ^{'}$ 使得其风险函数“优于 $δ$ ”（ $\forall θ, \exists δ^{'} such that R (θ, δ^{'}) \leq R (θ, δ), and \exists θ^{'}, R (θ^{'}, δ^{'}) < R (θ^{'}, δ)$ ），则称 procedure $δ$ 是不可接受的 (inadmissible)

Weighted coin flips

仍考虑对参数 $θ$ 的估计，考虑 estimator $δ_{n} (X) = \frac{1}{n} \sum_{i = 1}^{n} X_{i}$ ，则在平方 loss 下，可得到 $δ_{n}$ 的 risk

R (θ, δ_{n}) = E_{θ} ((θ - δ_{n} (X))^{2}) = \frac{θ (1 - θ)}{n}

（假设样本数 $\geq 2$ ）从而可以考虑对比 $δ_{1}, δ_{2}, δ_{g o o f y} = \frac{1}{2}$ 。
$R (θ, δ_{1}) = θ (1 - θ), R (θ, δ_{2}) = θ (1 - θ) / 2, R (θ, δ_{g o o f y}) = (\frac{1}{2} - θ)^{2}$ 至少可知 $δ_{1}$ 是不可取的
file-20250121201840323|450

对一般的问题，通常没有统一的 best procedure。但可以通过改变/增加约束要求来发展最优性理论。

Constrain
- 无偏估计（unbiased estimator）: $δ$ is unbiased for estimating $g (θ)$ if $E_{θ} (δ (X)) = g (θ)$
- 不变性（invariance）: 例如 $δ (X + c) = δ (X) + c$ 满足位置不变性
Collapse（不考虑优化整体 risk 而是统计指标）
- Bayes procedures
  minimize average risk $\int R (θ, δ) d Λ (θ)$ （ $Λ$ 为先验分布）
- Minimax procedures
  minimize the worst-case risk $sup_{θ \in Ω} R (θ, δ)$

Data Reduction

Not all data is relevant to a particular decision problem.

Statistic

Statistic

A function of data $T : X \to T$

充分统计量
一个统计量 $T$ 是样本空间到某个空间 $Y$ 的映射。例如想要样本估计参数时可将值空间 $Y$ 视为参数空间 $Θ$ ，当想做假设检验时可视为 $Y = {0, 1}$ 。统计量 $T$ 即可看做样本 $X$ 的一个压缩版本。^[1]
考虑对样本 $X \sim p_{θ}$ 进行参数估计，哪些信息是有用的？因此想要找到一个统计量使得参数 $θ$ 所包含的信息均在该统计量中便可节约存储空间，严格化数学定义如下：

Sufficient Statistic

A statistic is sufficient for a model $P = {P_{θ} : θ \in Ω}$ if $\forall t$ , the conditional distribution $X | T (x) = t$ does not depend on $θ$ .

Weighted coin flips

假设 $X_{1}, \dots, X_{n}$ 为 $i . i . d .$ 服从 $B e r (θ)$ ， $δ (X) = \frac{1}{n} \sum_{i = 1}^{n} X_{i}$ 是否为充分统计量？
The answer is yes!
$P_{θ} (X = (X_{1}, X_{2}, . . ., X_{n})) = \prod_{i = 1}^{n} θ^{X_{i}} (1 - θ)^{1 - X_{i}} = θ^{\sum_{i} X_{i}} (1 - θ)^{n - \sum_{i} X_{i}}$

\begin{aligned} P_{θ} (X = x | T (x) = t) & = \frac{P_{θ} (X = x, T (x) = t)}{P_{θ} (T (x) = t)} \\ = \frac{1 (t = \sum_{i = 1}^{n} X_{i}) θ^{t} (1 - θ)^{n - t}}{(\binom{n}{t}) θ^{t} (1 - θ)^{n - t}} \\ = \frac{1 (t = \sum_{i = 1}^{n} X_{i})}{(\binom{n}{t})} \end{aligned}

不依赖于 $θ$

Max of Uniform

$X_{1}, \dots, X_{n}$ 是服从均匀分布 $U (0, θ)$ 的 $i . i . d .$ 变量，那么 $T (x) = max (X_{1}, \dots, X_{n})$ is sufficient.
（固定最大值为 $t$ ，则其余 $n - 1$ 个变量服从 $U (0, t)$ ，条件分布与 $θ$ 独立）

Order Statistics

Let $X_{1}, X_{2}, \dots, X_{n}$ be i.i.d. with any model. Then the order statistics $T = X (1) \leq X (2) \leq \dots \leq X (n)$ are sufficient.
（由对称性，每种排列均有相等概率 $1 / n!$ 与 $θ$ 无关）

通过充分统计量所见数据同时意味着无损数据压缩
由于 $P (X | T (X))$ 与 $θ$ 独立，因此在已知如 $T (X) = t$ 时便可通过边缘分布重构出数据 $X^{'}$ 且满足 $P_{θ} (X^{'}) = P_{θ} (X)$ ，易证下述定理

定理 (TPE 1.6)

Let $X$ be distributed according to $P_{θ} \in P$ and let $T$ be sufficient for $P$ . Then, for any estimator $δ (X)$ of $g (θ)$ , there exists a (possibly randomized) estimator based on $T$ which has the same risk function as $δ (X)$ .

也就是说只要充分统计量 $T$ 的值给定了，样本概率密度就不会变了；反过来说即只要 $T$ 变了，才会对 $θ$ 产生银影响，说明 $θ$ 的信息均被 $T$ 提取了（充分统计量的含义）

在实践中，很少需要从足够的统计数据中重构数据集来实现准确的推断；相反，决策过程的风险通常可以通过仅基于充分统计量的非随机决策过程改进。

Neyman-Fisher Factorization Criterion

数学上如何更简单的定义 sufficiency

定理(Neyman-Fisher Factorization Criterion (NFFC), TSH, p. 19)

Suppose each $P_{θ} \in P$ has density $p (x; θ)$ w.r.t. a common $σ$ -finite measure $μ$ , i.e., $d P_{θ} / d μ = p (x; θ)$ Then $T (X)$ is sufficient if and only if $p (x; θ) = g_{θ} (T (x)) h (x)$ for some $g_{θ}, h .$

即 $T (X)$ 是充分统计的充要条件为概率分布 $p (x; θ)$ 可分解为其中一个因子仅与 $T (X)$ 有关与 $θ$ 无关

Proof (Discrete Case)

Suppose $p (x; θ) = g_{θ} (T (x)) h (x)$ . Since $P_{θ} (X = x | T (X) = t) = 0$ whenever $t \neq T (x)$ , so we may focus our attention on conditionals of the form $P_{θ} (X = x | T (X) = T (x))$ . We have

\begin{aligned} \begin{matrix} P_{θ} (X = x | T (X) = T (x)) \end{matrix} & \begin{array}{r} = \frac{P_{θ} (X = x, T (X) = T (x))}{P_{θ} (T (X) = T (x))} = \frac{P_{θ} (X = x)}{P_{θ} (T (X) = T (x))} \end{array} \\ = \frac{g_{θ} (T (x)) h (x)}{\sum_{x^{'} \in X} p (x^{'}; θ) 1 (T (x^{'}) = T (x))} \\ = \frac{g_{θ} (T (x)) h (x)}{\sum_{x^{'} \in X} g_{θ} (T (x)) h (x^{'}) 1 (T (x^{'}) = T (x))} \\ = \frac{h (x)}{\sum_{x^{'} \in X} h (x^{'}) 1 (T (x^{'}) = T (x))} \end{aligned}

so $T$ is sufficient.
Conversely, suppose $P_{θ} (X = x | T (X) = T (x))$ is independent of $θ$ . Then, defining $h (x) ≜ P_{θ} (X = x | T (X) = T (x))$ , we have

\begin{aligned} p (x; θ) & \begin{array}{r} = P_{θ} (X = x) = P_{θ} (X = x, T (X) = T (x)) \end{array} \\ = P_{θ} (X = x | T (X) = T (x)) P_{θ} (T (X) = T (x)) \\ = h (x) g_{θ} (T (x)) \end{aligned}

which establish the factorization criterion.

data reduction 总结

通过充分统计量进行数据压缩不会使 risk 更差（一些不想管的数据反而会导致 risk 增加）
提升可解释性
减少存储需求，通常减少了接下来推断的计算量

Note however that reduction via sufficiency can also increase the computational complexity of inference. See Montanari (2014).

参考

直观理解Basu's Theorem以及完备统计量-知乎 ↩︎