广义逆矩阵及其应用

通过线性代数已知，对满秩的方阵，可通过 Kram 法则求得其逆矩阵；
本节针对不加限定的矩阵 $A_{s \times n}$ ，若 $A x = b$ 有解，是否存在矩阵 $G$ 使得 $x = G b$ ；若无解，又是否有满足 $x = G b$ 的近似解。

M-P 方程与广义逆

1903 年，Fredholm，积分算子的广义逆
1920 年，Moore，矩阵的广义逆
1955 年，Penrose，证明了唯一性

M-P 方程与广义逆

设 $A \in C^{s \times n}$ ,若 $G \in C^{n \times s}$ 满足下述四个条件，则称 $G$ 是 $A$ 的广义逆矩阵：

$A G A = A$
$G A G = G$
$(A G)^{H} = A G$
$(G A)^{H} = G A$
上述四个方程称作 Moore-Penrose 方程，简称 M-P 方程

若 $A$ 为可逆阵，则 $A^{- 1}$ 为其广义逆

定理

设 $A \in C^{s \times n}$ ，则 $A$ 的广义逆矩阵存在且唯一，记作 $A^{+}$

Proof

【唯一性】
对矩阵 $A$ ，若 $G_{1}, G_{2}$ 均为 $A$ 的广义逆矩阵，则
$\begin{aligned} G_{1} & = G_{1} A G_{1} = G_{1} (A G_{1})^{H} = G_{1} G_{1}^{H} A^{H} = G_{1} G_{1}^{H} (A G_{2} A)^{H} \\ = G_{1} G_{1}^{H} A^{H} G_{2}^{H} A^{H} = G_{1} A G_{1} A G_{2} = G_{1} A G_{2} \end{aligned}$
同理， $G_{2} = G_{1} A G_{2}$ ，因此 $G_{1} = G_{2}$
【存在性】
设 $r (A) = r$ ，则存在 $A$ 的满秩分解 $A = B^{s \times r} C^{r \times n}, r (B) = r (C) = r$ ，显然 $B^{H} B, C^{H} C$ 可逆
令 $G = C^{H} (C C^{H})^{- 1} (B^{H} B)^{- 1} B^{H}$
易证其满足 M-P 方程

$A^{+} = C^{H} (C C^{H})^{- 1} (B^{H} B)^{- 1} B^{H}$ （ $A = B^{s \times r} C^{r \times n}$ ）

A^{3 \times 4} = (\begin{matrix} 1 & 0 & - 1 & 2 \\ - 1 & 2 & 0 & 1 \\ 0 & 2 & - 1 & 3 \end{matrix})

，求

A^{+}

$A$ 经行初等变换可得 $A \to (\begin{matrix} 1 & 0 & - 1 & 2 \\ 0 & 1 & - 1 / 2 & 3 / 2 \\ 0 & 0 & 0 & 0 \end{matrix}), r (A) = 2$
$∴ A = B^{3 \times 2} C^{2 \times 4}, B = (\begin{matrix} 1 & 0 \\ - 1 & 2 \\ 0 & 2 \end{matrix}), C = (\begin{matrix} 1 & 0 & - 1 & 2 \\ 0 & 1 & - 1 / 2 & 3 / 2 \end{matrix})$
可求 $A^{+} = C^{H} (C C^{H})^{- 1} (B^{H} B)^{- 1} B^{H}$

A^{m \times n} = (\begin{matrix} 1 & \dots & 1 \\ ⋱ \\ 1 & \dots & 1 \end{matrix})

，求

A^{+}

显然 $A = B^{m \times 1} C^{1 \times n} = (\begin{matrix} 1 \\ ⋮ \\ 1 \end{matrix}) (\begin{matrix} 1 & \dots & 1 \end{matrix})$
因此 $A^{+} = C^{H} \frac{1}{n} \frac{1}{m} B^{H} = \frac{1}{m n} A^{T}$

A = (1 2 3)

，求

A^{+}

$B = (1), C = (1 2 3)$
$A^{+} = \frac{1}{14} (\begin{matrix} 1 \\ 2 \\ 3 \end{matrix})$

广义逆的性质

广义逆与零阵

$O_{s \times n}^{+} = O_{n \times s}$
${(\begin{matrix} A & O \\ O & B \end{matrix})}^{+} = (\begin{matrix} A^{+} & O \\ O & B^{+} \end{matrix}), {(\begin{matrix} O & A \\ B & O \end{matrix})}^{+} = (\begin{matrix} O & B^{+} \\ A^{+} & O \end{matrix})$
${(\begin{matrix} A \\ O \end{matrix})}^{+} = (\begin{matrix} A^{+} & O \end{matrix}), {(\begin{matrix} A & O \end{matrix})}^{+} = (\begin{matrix} A^{+} \\ O \end{matrix})$
${(\begin{matrix} λ_{1} \\ λ_{2} \\ ⋱ \\ λ_{n} \end{matrix})}^{+} = (\begin{matrix} λ_{1}^{+} \\ λ_{2}^{+} \\ ⋱ \\ λ_{n}^{+} \end{matrix}), λ_{j}^{+} = {\begin{cases} λ_{j}^{- 1} & , λ_{j} \neq 0 \\ 0 & , λ_{j} = 0 \end{cases}$
$(A B)^{+}$ 与 $B^{+} A^{+}$ 一般不相等！

广义逆性质

下列 $A \in C^{s \times n}$

$(A^{+})^{+} = A$
$(A^{H})^{+} = (A^{+})^{H}$
若 $k$ 为实数，则 $(k A)^{+} = k^{+} A^{+}$ , $k^{+} = {\begin{cases} k^{- 1}, 若 k \neq 0 \\ 0, 若 k = 0 \end{cases}$
$A^{H} = A^{H} A A^{+} = A^{+} A A^{H}$
$(A^{H} A)^{+} = A^{+} (A^{H})^{+};$ $(A A^{H})^{+} = (A^{H})^{+} A^{+}$
$A^{+} = (A^{H} A)^{+} A^{H} = A^{H} (A A^{H})^{+}$
若 $U, V$ 是酉矩阵，则 $(U A V)^{+} = V^{H} A^{+} U^{H}$
$A^{+} A B = A^{+} A C \Leftrightarrow A B = A C$

广义逆的值域与核

\begin{aligned} R (A^{+}) = R (A^{H}) = R (A^{H} A) = R (A^{+} A) = K (I - A^{+} A); \\ R (A)^{⊥} = K (A^{H}) = K (A^{+}) = R (I - A A^{+}); \\ R (A^{+})^{⊥} = K (A) = K (A^{H} A) = R (I - A^{+} A) \end{aligned}

广义逆与最小二乘

最小二乘解

设 $A \in C^{s \times n}, x_{0} \in C^{n}$ ，若

∥ b - A x_{0} ∥ = min_{x \in C^{n}} ∥ b - A x ∥

则称 $x_{0}$ 是线性方程组 $A x = b$ 的最小二乘解。长度最小的最小二乘解称为极小最小二乘解。

$η$ 是 $A x = b$ 的最小二乘解的充要条件： $η$ 是 $A^{H} A x = A^{H} b$ 的解

是最小二乘解等价于 $b - η ⊥ R (A), b - η \in R^{⊥} (A) = K (A^{H})$
即 $A^{H} (b - η) = A^{H} (b - A x) = θ$

最小二乘解通解

$A x = b$ 的最小二乘解的通解为：
$x = A^{+} b + (I - A^{+} A) y, \forall y \in C^{n}$ ,其中， $A^{+} b$ 是唯一的极小最小二乘解