内积空间&等距变换

将内积推广到抽象的线性空间

内积空间

内积|内积空间|度量矩阵（Gram矩阵）

内积|内积空间

设 $V$ 是数域 $F$ 上的线性空间，在 $V$ 上定义了一个二元函数 $⟨ α, β ⟩$ ,若

$⟨ α, β ⟩ = \overset{―}{⟨ β, α ⟩}$ （共轭对称性）
$\forall α, β, γ \in V, ⟨ α + β, γ ⟩ = ⟨ α, γ ⟩ + ⟨ β, γ ⟩$ （可加性）
$\forall α, β \in V, k \in F, ⟨ k α, β ⟩ = k ⟨ α, β ⟩$ （齐次性）
$\forall α \in V, ⟨ α, α ⟩ \geq 0;$ 且等号成立当且仅当 $α = θ$ （恒正性）

则称 $⟨ α, β ⟩ 是 α, β$ 的内积。
定义了内积的线性空间称为内积空间
当 $F = R$ 时，称 $V$ 是欧几里得空间，简称欧氏空间；当 $F = C$ 时，称 $V$ 是酉空间

$V = R^{n}, < α, β >= β^{T} α$
$V = R^{n \times n}, < A, B >= t r (B^{T} A)$
$V = R_{3} [x], < f (x), g (x) >= \int_{- 1}^{1} f (x) g (x) d x$
$V = C^{n}, < α, β >= β^{H} α$

度量矩阵(Gram矩阵)

设 $ε_{1}, ε_{2}, \dots, ε_{n}$ 是 $V$ 的基， $α, β \in V$ 的坐标是

X = (x_{1}, x_{2}, \dots, x_{n})^{T}, Y = (y_{1}, y_{2}, \dots, y_{n})^{T}

则 $⟨ α, β ⟩ = \sum_{i = 1}^{n} \sum_{j = 1}^{n} x_{i} \overset{―}{y_{j}} ⟨ ε_{i}, ε_{j} ⟩ = X^{T} A \overset{―}{Y}$
其中， $A = (⟨ ε_{i}, ε_{j} ⟩)_{n \times n}$ ，称 $A$ 是 $V$ 在基 $ε_{1}, ε_{2}, \dots, ε_{n}$ 下的度量矩阵

由 $A = (⟨ ε_{i}, ε_{j} ⟩)_{n \times n}$ 易知 Gram阵具有对称性；若 $F = R$ ，则度量矩阵为对称阵；若 $F = C$ ，则度量矩阵为 Hermite阵

模与正交性

向量的模|向量间距离

向量的模

$\begin{aligned} 设 α \in V, α 的模 (长度) 定义为 ∥ α ∥ = \sqrt{⟨ α, α ⟩} \\ 若 ∥ α ∥ = 1,则称 α 是单位向量 \end{aligned}$

$\forall α \in V, ∥ α ∥ \geq 0,且 ∥ α ∥ = 0 \Leftrightarrow α = θ$
$‖ k α ‖ = | k | ‖ α ‖$

向量间距离

$d (α, β) = ∥ α - β ∥$

C_B不等式
$\forall α, β \in V, | ⟨ α, β ⟩ | \leq ∥ α ∥ ∥ β ∥$
当且仅当 $α, β$ 线性相关时等号成立
三角不等式
$\forall α, β \in V, ∥ α ∥ + ∥ β ∥ \geq ∥ α + β ∥$
【距离形式】 $\forall α, β, γ \in V, d (α, γ) \leq d (α, β) + d (β, γ)$

正交性|正交基

正交性

若 $⟨ α, β ⟩ = 0$ ，则称 $α, β$ 是正交的，记作 $α ⊥ β$

勾股定理

$若 α ⊥ β,则 ∥ α + β ∥^{2} = ∥ α ∥^{2} + ∥ β ∥^{2}$

正交基

由两两正交的非零向量组成的向量组称为正交向量组
由两两正交的单位向量组成的向量组称为标准正交向量组
由正交向量组组成的基称为是正交基
由标准正交向量组组成的基称为是标准正交基

【？为何讨论标准正交基】

标准正交基 $⟺$ 度量矩阵为单位阵

因此便于计算内积，通过在标准正交基下坐标 $X, Y$ ，得 $\begin{array}{r} ⟨ α, β ⟩ = Y^{H} X = {⟨ X, Y ⟩}_{C^{n}} \end{array}$

Schmidt正交化

线性无关向量组——> 标准正交向量组
设 $α_{1}, α_{2}, \dots, α_{s} \in V$ 是线性无关的。令：

\begin{aligned} β_{1} = α_{1} \\ β_{2} = α_{2} - \frac{⟨ α_{2}, β_{1} ⟩}{⟨ β_{1}, β_{1} ⟩} β_{1} \\ β_{3} = α_{3} - \frac{⟨ α_{3}, β_{2} ⟩}{⟨ β_{2}, β_{2} ⟩} β_{2} - \frac{⟨ α_{3}, β_{1} ⟩}{⟨ β_{1}, β_{1} ⟩} β_{1} \\ \dots \dots \dots \dots \\ β_{s} = α_{s} - \frac{⟨ α_{s}, β_{s - 1} ⟩}{⟨ β_{s - 1}, β_{s - 1} ⟩} β_{s - 1} - \dots - \frac{⟨ α_{s}, β_{1} ⟩}{⟨ β_{1}, β_{1} ⟩} β_{1} \end{aligned}

单位化 : $γ_{i} = \frac{1}{∥ β_{i} ∥} β_{i}$ , $i = 1, 2, \dots, s$
则 $γ_{1}, γ_{2}, \dots γ_{s}$ 是与 $α_{1}, α_{2}, \dots α_{s}$ 等价的标准正交向量组

求一组标准正交基

$V 在 ϵ_{1}, ϵ_{2} 下的度量矩阵是 (\begin{matrix} 1 & 2 \\ 2 & 5 \end{matrix})$

度量矩阵 $A = (⟨ ϵ_{i}, ϵ_{j} ⟩)_{n \times n}$
则有正交化：令 $β_{1} = ϵ_{1}, β_{2} = ϵ_{2} - \frac{⟨ ϵ_{2}, β_{1} ⟩}{⟨ β_{1}, β_{1} ⟩} β_{1} = ϵ_{2} - 2 ϵ_{1}$
单位化： $γ_{1} = ϵ_{1}, γ_{2} = \frac{ϵ_{2} - 2 ϵ_{1}}{\sqrt{⟨ ϵ_{2} - 2 ϵ_{1}, ϵ_{2} - 2 ϵ_{1} ⟩}} = \frac{ϵ_{2} - 2 ϵ_{1}}{\sqrt{5 - 2 \times 2 - 2 \times 2 + 4 \times 1}} = ϵ_{2} - 2 ϵ_{1}$

的一组标准正交基

在

V = R_{3} [x]

中定义内积：

⟨ f (x), g (x) ⟩ = \int_{- 1}^{1} f (x) g (x) d x

求

V

的一组标准正交基

（易错）该题不要想当然去做，按照公式实际求，会发现 $β_{3} \neq x^{2}, γ_{1} \neq 1$
$β_{1} = 1, β_{2} = x, β_{3} = x^{2} - 1 / 3$
$γ_{1} = \sqrt{2} / 2, γ_{2} = 3 x, γ_{3} = \frac{45}{8} x^{2} - \frac{15}{8}$

酉矩阵

酉矩阵： $U^{H} U = I, U \in C^{n}$
正交矩阵： $A^{T} A = I, A \in R^{n}$

$(A^{T} A)_{i j} = a_{i}^{T} a_{j} = ⟨ α_{i}, α_{j} ⟩ = δ_{i j} = {\begin{cases} 1, i = j \\ 0, i \neq j \end{cases}$
酉矩阵以及正交阵的列(行)向量组是标准正交基
正交(酉) 矩阵作为线性变换性质
- 保内积， $⟨ U x, U y ⟩ = ⟨ x, y ⟩$
- 保长度， $∥ U x ∥ = ∥ x ∥$
- 标准正交基变换： $(γ_{1}, γ_{2}, \dots, γ_{n}) = (α_{1}, α_{2}, \dots, α_{n}) U$ ，则 $γ_{1}, γ_{2}, \dots, γ_{n}$ 是标准正交基<——> $U$ 是正交(酉) 矩阵

可逆方阵UT分解

可逆方阵的UT分解

设可逆方阵 $A \in C^{n \times n}$ ，则存在酉矩阵 $U$ 及主对角元恒正的上三角阵 $T$ ，使得 $A = U T$ ,且分解方式唯一

Proof

【引理（易证）】若 $T_{1}, T_{2}$ 为n阶可逆上三角阵，则 $T_{1} T_{2}, T^{- 1}$ 均为可逆上三角阵
存在性：
设 $A = (α_{1}, \dots, α_{n})$ ，用 Schmidt 正交化方法，设

\begin{matrix} U := (γ_{1}, \dots, γ_{n}) \\ (β_{1}, \dots, β_{n}) = (α_{1}, \dots, α_{n}) (\begin{matrix} 1 & - k_{12} & - k_{13} & \dots & - k_{1 n} \\ 1 & - k_{23} & \dots & - k_{2 n} \\ 1 \\ ⋱ & ⋮ \\ 1 \end{matrix}) = (α_{1}, \dots, α_{n}) C \\ D := d i a g (∥ β_{1} ∥, \dots, ∥ β_{n} ∥), T := D C \end{matrix} $ $ ， 则 $ A = B C = U D C = U T $ 唯 一 性 ： 设 $ A = U_{1} T_{1}, A = U_{2} T_{2} $ ， 则 $ U_{2}^{- 1} U_{1} = T_{2} T_{1}^{- 1} $ 。 记 $ D = U_{2}^{- 1} U $ 为 酉 矩 阵 ， $ D^{H} D = I_{n}, D^{H} = D^{- 1} $ 又 由 引 理 ， $ D = T_{2} T_{1}^{- 1} $ 为 上 三 角 阵 ， 所 以 $ D^{- 1} $ 可 知 为 上 三 角 阵 ， $ D^{H} $ 为 下 三 角 阵 。 从 而 推 出 $ D^{H} = D^{- 1} $ 为 对 角 阵 ， $ D $ 为 对 角 阵 。 结 合 $ D $ 的 对 角 元 都 为 正 ， $ D = I_{n}, U_{1} = U_{2}, T_{1} = T_{2} $

正交补

基扩充定理

假设 $W$ 是 $V$ 的子空间， $α_{1}, α_{2}, \dots α_{s}$ 是 $W$ 的标准正交基，则存在 $α_{s + 1}, α_{s + 2}, \dots α_{n}$ ,使得 $α_{1}, α_{2}, \dots α_{s}, α_{s + 1}, α_{s + 2}, \dots α_{n}$ 是 $V$ 的标准正交基

正交补空间

设 $W \leq V, α \in V$ ，若 $\forall β \in W, α ⊥ β$ ，则称 $α ⊥ W$
若 $W_{1}, W_{2} \leq V, \forall α_{1} \in W_{1}, α_{2} \in W_{2}, α_{1} ⊥ α_{2}$ ，则称 $W_{1} ⊥ W_{2}$
设 $W \leq V$ ,记 $W^{⊥} = {α \in V | α ⊥ W}$
易证这是 $V$ 的子空间，称是 $W$ 在 $V$ 中的正交补空间

定理

设 $V$ 是内积空间， $W$ 是 $V$ 的有限维子空间，则 $V = W \oplus W^{⊥}$
而且，若 $V = W \oplus U$ 、且 $W ⊥ U$ ，则 $U = W^{⊥}$

【推论】 $(W^{⊥})^{⊥} = W$

正交补类似于集合中的补集

R (A)^{⊥}, K (A)^{⊥}

的计算

$R (A)^{⊥} = K (A^{H}), K (A)^{⊥} = R (A^{H})$

证明

$A = (α_{1}, α_{2}, \dots, α_{n}) \Rightarrow R (A) = L (α_{1}, α_{2}, \dots, α_{n})$
$β ⊥ R (A) \Leftrightarrow ⟨ β, α_{j} ⟩ = α_{j}^{H} β = 0 \Leftrightarrow (\begin{matrix} α_{1}^{H} \\ ⋮ \\ α_{n}^{H} \end{matrix}) β = 0 \Leftrightarrow β \in K (A^{H})$
$∴ R (A)^{⊥} = K (A^{H})$
同理带入 $A \to A^{H}$ 再同取 $⊥$ 得 $K (A)^{⊥} = R (A^{H})$

$d (α, η) = \underset{ξ \in W}{m i n} d (α, η) ⟺ α - η ⊥ W$

求

η = x^{2}

在

W = L (1, x)

中的正投影

设 $V = R_{3} [x]$ 中的内积定义为

⟨ f (x), g (x) ⟩ = \int_{- 1}^{1} f (x) g (x) d x

应用
- 求 Fourier 系数（求 $f (x) \in C_{[- π, π]}$ 在 $W_{n} = L (1, \cos x, \sin x, \dots, \cos n x, \sin n x)$ 中正投影）
- 最小二乘解（求线性方程组 $A x = b, A \in C^{s \times n}$ 的最佳近似解）

等距变换

设 $V$ 是内积空间， $f \in H o m (V, V)$ ，若

⟨ f (α), f (β) ⟩ = ⟨ α, β ⟩, \forall α, β \in V

称 $f$ 是等距变换。若 $F = R$ ，称 $f$ 是正交变换；若 $F = C$ ,称 $f$ 是酉变换

（等距变换）下列命题等价
- 保持长度不变
- 保持内积不变（等距的定义）
- 将标准正交基变为标准正交基
- 在标准正交基下为酉矩阵

k

取何值时

f

是正交变换？

假设 $w$ 是欧式空间 $V$ 中单位向量， $k \in R$ 。 $V$ 上线性映射定义为 $f (x) = x - 2 k ⟨ x, w ⟩ w$

【法1】用定义
$⟨ f (x), f (y) ⟩ = ⟨ x, y ⟩ + 4 (k^{2} - k) ⟨ x, w ⟩ ⟨ w, y ⟩$
$∴ k = 0 o r 1$
【法2】 $A^{T} A = I$
扩充 $w$ 至 $V$ 的一组标准正交基 ${w, w_{2}, \dots, w_{n}}$
度量矩阵 $A = (\begin{matrix} 1 - 2 k \\ 1 \\ ⋱ \\ 1 \end{matrix})$
$A^{T} A = I \Rightarrow k = 0 o r 1$

初等旋转变换
固定其他 $𝑛 - 2$ 维不变，而选择其中两维构成的平面，把向量沿着这个平面旋转一定的角度，称作初等旋转变换，或 Givens 变换。
$R^{2}$ 中的旋转变换：
$A = [\begin{matrix} \cos θ & \sin θ \\ - \sin θ & \cos θ \end{matrix}]$
$R^{n}$ 中的旋转变换：（ $i < j$ 两行互换）
$R_{i j} = [\begin{matrix} 1 \\ ⋱ \\ 1 \\ \cos θ & 0 & \dots & 0 & \sin θ \\ 0 & 1 & \dots & 0 & 0 \\ ⋮ & ⋮ & ⋮ & ⋮ & ⋮ \\ 0 & 0 & \dots & 1 & 0 \\ - \sin θ & 0 & \dots & 0 & \cos θ \\ 1 \\ ⋱ \\ 1 \end{matrix}]$ $det R_{i j} = 1$

由行列式展开易证
镜像变换

Householder变换，镜像变换

在欧氏空间中，设由线性变换将向量 $ξ$ 映射称与单位向量 $ω$ 正交的 $n - 1$ 维子控件堆成的像 $η$ ，且

η = (I - 2 ω ω^{T}) ξ = H ξ

则这种线性变换即镜像变换，或称Householder变换

几何直观表示如图可得

\begin{aligned} ξ - η & = 2 w (w^{T} ξ) \\ η = ξ - 2 ω (ω^{T} ξ) & = (I - 2 ω ω^{T}) ξ \end{aligned}

【性质】

对称的正交矩阵
$det H = - 1$
【定理】可使任何非零向量 $ξ$ 变成与给定单位向量 $ζ$ 同方向的向量 $η$

Proof

关键在于构造单位向量 $ω$ ，下面导出 $ω$ 的计算公式：
易看出， $ξ$ 在 $ω$ 方向的投影为 $\frac{1}{2} | ξ - η | = | ω | | ξ | c o s (ω, ξ) = ω^{T} ξ$

ω = \frac{ξ - η}{2 (ω^{⊤} ξ)} - \frac{ξ - ∣ ξ ∣ ξ ∣ η}{∣ ξ - ∣ ξ ∣ η ∣}

\begin{aligned} η = H ξ \\ = (I - 2 \frac{(ξ - ∣ ξ ∣ η) {(ξ - ∣ ξ ∣ η)}^{T}}{∣ ξ - ∣ ξ ∣ η ∣^{2}}) ξ \\ = ξ - 2 (ξ - ∣ ξ ∣ η, ξ) \frac{ξ - ∣ ξ ∣ η}{∣ ξ - ∣ ξ ∣ η ∣^{2}} \\ = ξ - (ξ - ∣ ξ ∣ η) =∣ ξ ∣ η \end{aligned}

初等旋转矩阵（变换）是两个初等反射矩阵（变换）的乘积

几何解释：
代数解释：
旋转矩阵与反射矩阵 $| T | = 1, | H | = - 1$ ，显然 $\prod | T_{i} | = 1 \neq | H |; \prod^{2 n} | H | = 1 = | T |$