范数与矩阵函数

范数概念

范数|赋范线性空间

$\begin{aligned} 设 V 是数域 C 上线性空间, ν 是定义在 V 上的实值函数。如果 ν 满足: \\ ∙ (恒正) 对任意 θ \neq α \in V, ν (α) > 0 \\ ∙ (齐性) 对任意 α \in V, k \in C, ν (k α) = | k | ν (α) \\ ∙ (三角不等式)对任意 α, β \in V, ν (α + β) \leq ν (α) + ν (β) \\ 则称 ν 是 V 上的范数.定义了范数的线性空间称为赋范线性空间 . \end{aligned}$

设 $V$ 是内积空间（复数域酉空间/实数域欧几里得空间），则 $V$ 上内积下长度 $| | \cdot | |$ 是一范数。
$C^{n}$ 中范数例子( $\forall X = (x_{1}, x_{2}, \dots, x_{n}) \in C^{n}$ )
- 1-范数： $∥ X ∥_{1} = Σ_{i = 1}^{n} | x_{i} |$
- 2-范数： $∥ X ∥_{2} = \sqrt{Σ_{i = 1}^{n} | x_{i} |^{2}}$
- $\infty$ -范数： $∥ X ∥_{\infty} = max_{1 \leq i \leq n} | x_{i} |$
- p-范数： $∥ X ∥_{p} = (Σ_{i = 1}^{n} | x_{i} |^{p})^{1 / p}$
- $∥ X ∥_{A} = ∥ A X ∥$ 也是 $C^{n}$ 上的一种范数， $A$ 可逆
  
  通过恒正，齐性，三角不等式易证
线性空间上的范数
设 $V$ 是复数域 $C$ 上 $n$ 维线性空间， $α_{1}, α_{2}, \dots, α_{n}$ 是 $V$ 的一组基， $∥ ∙ ∥$ 是 $C^{n}$ 上已知的范数，据此可以定义 $V$ 上的范数：若 $η \in V$ 在基 $α_{1}, α_{2}, \dots, α_{n}$ 下的坐标是 $X$ ，规定

∥ η ∥ = ∥ X ∥

等价的范数
对于有限维线性空间 $V$ 的任意两种范数 ${‖ \cdot ‖}_{a}$ 与 ${‖ \cdot ‖}_{b}$ ,必存在正实数 $k_{1} \leq k_{2} > 0,$ 使得对 $V$ 中任意向量 $η$ ,都有 $k_{2} {‖ η ‖}_{b} \leq {‖ η ‖}_{a} \leq k_{1} {‖ η ‖}_{b}$
常用范数比较（ $x \in C^{n}$ ）
- ${‖ x ‖}_{\infty} \leq {‖ x ‖}_{1} \leq n {‖ x ‖}_{\infty}$
- ${‖ x ‖}_{2} \leq {‖ x ‖}_{1} \leq \sqrt{n} {‖ x ‖}_{2}$
- ${‖ x ‖}_{\infty} \leq {‖ x ‖}_{2} \leq \sqrt{n} {‖ x ‖}_{\infty}$

矩阵范数

矩阵p-范数|F范数|算子范数

矩阵范数|F范数

设矩阵 $A = (a_{i j})_{m \times n}$ ，有如下矩阵范数：

\begin{aligned} {‖ A ‖}_{m_{1}} & = \sum_{i, j} | a_{i j} | \\ {‖ A ‖}_{m_{2}} & = {(\sum_{i, j} {| a_{i j} |}^{2})}^{1 / 2} = {(t r A^{H} A)}^{1 / 2} = {(t r A A^{H})}^{1 / 2} \\ {‖ A ‖}_{m_{\infty}} & = max_{i, j} {| a_{i j} |} \end{aligned}

${‖ A ‖}_{m_{2}} 又记为 {‖ A ‖}_{F},称为Frobenius范数,简称 F 范数$

F范数酉不变： ${‖ A ‖}_{F} = {‖ U A V ‖}_{F}$ ， $U, V$ 为酉矩阵

算子范数

设 $∥ ∙ ∥_{ν_{n}}, ∥ ∙ ∥_{ν_{m}}$ 分别是 $C^{n}, C^{m}$ 上的范数，定义 $C^{m} \times n$ 上的实值函数 $∥ ∙ ∥ :$

∥ A ∥ = max_{∥ y ∥_{v} = 1} ∥ A y ∥_{v} = max_{θ \neq X \in C^{n}} \frac{∥ A X ∥_{ν_{m}}}{∥ X ∥_{ν_{n}}}

称 $∥ ∙ ∥$ 是由 $∥ ∙ ∥_{ν_{n}}, ∥ ∙ ∥_{ν_{m}}$ 诱导的算子范数

易证算子范数仍具有范数的性质（正定性，齐次性，三角不等式）
- 相容性
  $\forall x, ∥ A ∥ \geq \frac{∥ A x ∥_{v}}{∥ x ∥_{v}}$ ，因此 $∥ A ∥ ∥ x ∥_{v} \geq ∥ A x ∥_{v}$
  从而导出 $∥ A B ∥ = max_{∥ y ∥_{v} = 1} ∥ A B y ∥_{v} \leq ∥ A ∥ max_{∥ y ∥_{v} = 1} ∥ B y ∥_{v} = ∥ A ∥ ∥ B ∥$
三种常见算子范数
- ${‖ A ‖}_{1} = max_{1 \leq j \leq n} {\sum_{i = 1}^{s} | a_{i j} |}$ (列模和范数)
- ${‖ A ‖}_{2} = \sqrt{ρ (A^{H} A)}$ (谱范数， $ρ ()$ 为特征值模的最大值)
- ${‖ A ‖}_{\infty} = max_{1 \leq i \leq s} {\sum_{j = 1}^{n} | a_{i j} |}$ (行模和范数)

证明：若

A

是正规阵，则

∥ A ∥_{2} = ρ (A)

由正规阵性质知其与对角阵酉相似，即 $A = U Λ U^{H}, A^{H} A \sim d i a g ({\overset{―}{λ}}_{1} λ_{1} \dots, {\overset{―}{λ}}_{n} λ_{n})$
$∴ ∥ A ∥_{2} = \sqrt{ρ (A^{H} A)} = \sqrt{ρ (Λ^{H} Λ)} = \sqrt{max_{1 \leq i \leq n} {| {\overset{―}{λ}}_{i} λ_{i} |}} = ρ (A)$

设

∥ A ∥_{F} = a, ∥ B ∥_{F} = b, ∥ A ∥_{2} = c, ∥ B ∥_{2} = d, M = (\begin{matrix} A & O \\ O & B \end{matrix})

，求

∥ M ∥_{F}, ∥ M ∥_{2}

$∥ M ∥_{F} = \sqrt{a^{2} + b^{2}}, ∥ M ∥_{2} = max {c, d}$

范数相容

考虑矩阵范数和矩阵乘法的关系

矩阵范数相容性

设 $C^{s} \times m, C^{m \times n}, C^{s \times n}$ 中定义了范数 $∥ ∙ ∥_{a}, ∥ ∙ ∥_{b}, ∥ ∙ ∥_{c}$ ,若对 $\forall A \in C^{s \times m}$ , $B \in C^{m \times n}$ ，

{‖ A B ‖}_{c} \leq {‖ A ‖}_{a} {‖ B ‖}_{b}

则称范数 $∥ ∙ ∥_{a}, ∥ ∙ ∥_{b}, ∥ ∙ ∥_{c}$ 是相容的。特别地，当这三种范数属于同一类时，便称这类矩阵范数是相容的

范数相容有什么意义？
在对一个向量进行线性变换（即左乘A）以后，新的向量的长度不超过这个线性变换的长度和向量在原空间中的长度之积。

算子范数的意义？
对任意相容矩阵范数 $∥ \cdot ∥$ 和任意矩阵 $X$ ,都有不等式
$∥ I X ∥ \leq ∥ I ∥ ∥ X ∥$
一个自然的想法是，一个“好的”矩阵范数，应该有
$∥ I ∥ = 1$
但是 ${‖ I_{n} ‖}_{m_{1}} = n, {‖ I_{n} ‖}_{F} = \sqrt{n}$ 。所以，虽然 $∥ \cdot ∥_{m_{1}}, ∥ \cdot ∥_{F}$ 都是相容的矩阵范数，但是它们不够好。算子范数就是满足上述条件“好的”相容的矩阵范数

定理

$∥ ∙ ∥_{m_{1}}, ∥ ∙ ∥_{m_{2}}, ∥ ∙ ∥_{1}, ∥ ∙ ∥_{2}, ∥ ∙ ∥_{\infty}$ 是相容的， $∥ ∙ ∥_{m_{\infty}}$ 是不相容的
算子范数一定相容

∥ \cdot ∥_{F}

相容性 |

∥ \cdot ∥_{m_{\infty}}

不相容证明

${‖ \cdot ‖}_{F}$ 相容的证明：设 $A^{H} = (α_{1}, \dots, α_{s}), B = (β_{1}, \dots, β_{t})$ ,则 $A B = (α_{i}^{H} β_{j})_{s \times t}$ ，于是 $\begin{aligned} {‖ A B ‖}_{F}^{2} = \sum_{i = 1}^{s} \sum_{j = 1}^{t} {| α_{i}^{H} β_{j} |}^{2} & \leq \sum_{i = 1}^{s} \sum_{j = 1}^{t} {‖ α_{i} ‖}_{2}^{2} {‖ β_{j} ‖}_{2}^{2} \\ = \sum_{i = 1}^{s} ∥ α_{i} ∥_{2}^{2} \cdot \sum_{i = 1}^{t} ∥ β_{j} ∥_{2}^{2} \\ = ∥ A ∥_{F}^{2} ∥ B ∥_{F}^{2} \end{aligned}$
${‖ \cdot ‖}_{m_{\infty}}$ 不相容的证明：举反例：取 $A = (1, 1), B = A^{T}$ ，则 $A B = 2$ ， ${| A B ‖}_{m_{\infty}} = 2 > 1 = {‖ A ‖}_{m_{\infty}} {‖ B ‖}_{m_{\infty}}$

设

∥ \cdot ∥

为相容的矩阵范数，求证：

$∥ I ∥ \geq 1$
$∥ A^{- 1} ∥ \leq 1$ ，则 $∥ M ∥_{a} := ∥ A M ∥, \forall M \in C^{n \times n}$ 为 $C^{n \times n}$ 上相容矩阵范数

$∥ I ∥ = ∥ I I ∥ \leq ∥ I ∥ ∥ I ∥ ⟹ ∥ I ∥ \geq 1$
$\begin{aligned} {‖ B C ‖}_{a} = ‖ A B C ‖ & \leq ‖ A B ‖ ‖ C ‖ = ‖ A B ‖ ‖ A^{- 1} A C ‖ \\ \leq ‖ A B ‖ ‖ A^{- 1} ‖ ‖ A C ‖ \\ \leq ‖ A B ‖ ‖ A C ‖ \end{aligned}$

收敛定理&矩阵函数

矩阵序列的收敛 | 矩阵幂级数收敛

矩阵序列收敛

设矩阵序列 ${A_{k}}_{1} \leq k \leq + \infty, A_{k} = {(a_{i j}^{(k)})}_{n \times n}$ ，如果 $A = {(a_{i j})}_{n \times n}$ ，且 $\forall i, j, lim_{k \to \infty} a_{i j}^{(k)} = a_{i j}$ ，则称 $lim_{k \to \infty} A_{k} = A$

矩阵幂级数收敛

设 $A$ 是方阵，对于幂级数

\sum_{i = 0}^{+ \infty} a_{i} x^{i}, f_{n} (x) = \sum_{i = 0}^{n} a_{i} x^{i},

若矩阵序列 ${f_{n} (A)}$ 收敛于矩阵 $M$ ,则称矩阵幂级数 $\sum_{i = 0}^{+ \infty} a_{i} A^{i}$ 收敛于 $M$

$lim_{k \to \infty} A_{k} = A \Leftrightarrow lim_{k \to \infty} ∥ A_{k} - A ∥ = 0$

谱半径与相容范数

谱半径是所有相容范数的下确界

对任意矩阵 $A \in C^{n \times n}$

任意相容矩阵范数 $∥ \cdot ∥$ ， $ρ (A) \leq ∥ A ∥$
$\forall ε > 0$ ， $\exists C^{n \times n}$ 上相容矩阵范数 $∥ \cdot ∥$ ，使得 $∥ A ∥ < ρ (A) + ε$

【推论】
- $lim_{k \to \infty} = O$ 充要条件：存在相容矩阵范数 $∥ A ∥ < 1$
- $ρ (A) < R$ 充要条件：存在相容矩阵范数 $∥ A ∥ < R$
通过谱半径，即可类似函数收敛半径判断矩阵幂级数是否收敛
若幂级数 $\sum_{i = 0}^{+ \infty} a_{i} x^{i}$ 收敛半径为 $R$ ，则当 $ρ ≷ R$ 时，矩阵幂级数发散/收敛

求解 $f (A)$

幂级数展开（适合 $A^{m}$ 为常量）

二阶方阵

A = E_{11}, B = E_{12}

，求

e^{A}, e^{B}, e^{A + B}

$A^{2} = A^{m} = A, e^{A} = I + \sum_{m = 1}^{\infty} \frac{A}{m!} = I + (e - 1) A = (\begin{matrix} e & 0 \\ 0 & 1 \end{matrix})$
$B^{2} = B^{m} = O, e^{B} = I + B = (\begin{matrix} 1 & 1 \\ 0 & 1 \end{matrix})$
$(A + B)^{2} = (A + B)^{m} = A + B = (\begin{matrix} 1 & 1 \\ 0 & 0 \end{matrix}), e^{A + B} = (\begin{matrix} e & e - 1 \\ 0 & 1 \end{matrix})$

当 $A B = B A$ 时，才有 $e^{A + B} = e^{A} e^{B} = e^{B} e^{A}$
$e^{O} = I$
$(e^{A})^{- 1} = e^{- A}$

利用Jordan型求（适用矩阵已经为Jordan型）
- 若 $J = d i a g (J_{1}, J_{2} \dots, J_{s})$ ，则 $f (J) = d i a g (f (J_{1}), f (J_{2}) \dots, f (J_{s}))$
- $f (J_{0}^{n \times n}) = (\begin{matrix} f (λ_{0}) & \frac{f^{'} (λ_{0})}{1!} & \frac{f^{″} (λ_{0})}{2!} & \dots & \frac{f^{' (n - 2)} (λ_{0})}{(n - 2)!} & \frac{f^{(n - 1)} (λ_{0})}{(n - 1)!} \\ 0 & f (λ_{0}) & \frac{f^{'} (λ_{0})}{1!} & ⋱ & \dots & \frac{f^{(n - 2)} (λ_{0})}{(n - 2)!} \\ 0 & 0 & f (λ_{0}) & ⋱ & ⋱ & ⋮ \\ ⋮ & ⋮ & ⋮ & ⋱ & ⋱ & \frac{f^{″} (λ_{0})}{2!} \\ ⋮ & ⋮ & ⋮ & \dots & \dots & \frac{f^{'} (λ_{0})}{1!} \\ 0 & 0 & 0 & \dots & \dots & f (λ_{0}) \end{matrix})$

设

A = (\begin{matrix} 2 & 0 & 0 \\ 0 & 3 & 1 \\ 0 & 0 & 3 \end{matrix})

，求

e^{A}, \sin A, \sin A t

$A = (\begin{array}{ccc} 2 \\ 3 & 1 \\ 3 \end{array}) = (\begin{matrix} J_{1} \\ J_{2} \end{matrix})$
$\sin J_{1} t = \sin 2 t, \sin J_{2} t = (\begin{matrix} \sin 3 t & \frac{d}{d λ} (\sin λ t) = t \cos 3 t \\ 0 & \sin 3 t \end{matrix})$
同理，最后得 $e^{A} = (\begin{matrix} e^{2} \\ e^{3} & 3 e^{3} \\ e^{3} \end{matrix})$
$\sin A = (\begin{matrix} \sin 2 \\ \sin 3 & \cos 3 \\ \sin 3 \end{matrix}), \sin A t = (\begin{matrix} \sin 2 t \\ \sin 3 t & t \cos 3 t \\ \sin 3 t \end{matrix})$

利用最小多项式&特征值处谱值求（适用最小多项式次数较低阶）
- $N_{n}^{n} = O$ ，当 $k \geq n$ 时， $J_{n} (λ)^{k} = (λ I_{n} + N_{n})^{k} = \sum_{i = 0}^{k} C_{k}^{i} λ^{k - i} N_{n}^{i}$
- 利用最小多项式构造多项式组合来等价原函数 $f (A) = c_{0} I + c_{1} A + \dots$

最小多项式与矩阵函数

若 $A$ 的最小多项式为 $m (λ) = \prod_{i = 1}^{s} (λ - λ_{i})^{t_{i}}$ ，则 $f (A) = g (A)$ 的充要条件： $\forall λ_{i}, i = 1, 2 \dots, s$
$f (λ_{i}) = g (λ_{i}), f^{'} (λ_{i}) = g^{'} (λ_{i}), \dots f^{(t_{i} - 1)} (λ_{i}) = g^{(t_{i} - 1)} (λ_{i})$

设

A = (\begin{matrix} 0 & 0 & 1 \\ 2 & - 1 & 2 \\ 1 & 0 & - 2 \end{matrix})

，求

e^{t A}

由 $| λ I - A | = (λ + 1)^{3}, r (A + I) = 1$ 知，A的Jordan标准型为 $(\begin{matrix} - 1 \\ - 1 & 1 \\ - 1 \end{matrix})$
因此A的最小多项式为 $m (λ) = (λ + 1)^{2}$
$\exists c_{0}, c_{1}$ 使得 $e^{t A} = c_{0} I + c_{1} A$
设 $f (x) = e^{t x}, g (x) = c_{0} + c_{1} x; f (A) = g (A)$
由上述定理知 ${\begin{cases} f (- 1) = g (- 1) \\ f^{'} (- 1) = g^{'} (- 1) \end{cases} ⟹ {\begin{cases} c_{0} = e^{- t} + t e^{- t} \\ c_{1} = t e^{- t} \end{cases}$
$e^{t A} = (e^{- t} + t e^{- t}) I + t e^{t} A = (\begin{matrix} e^{- t} + t e^{- t} & 0 & t e^{- t} \\ 2 t e^{- t} & e^{- t} & 2 t e^{- t} \\ - t e^{- t} & 0 & e^{- t} - t e^{- t} \end{matrix})$

范数概念

范数|赋范线性空间

矩阵范数

矩阵p-范数|F范数|算子范数

范数相容

收敛定理&矩阵函数

矩阵序列的收敛 | 矩阵幂级数收敛

谱半径与相容范数

求解 f(A)

求解 $f (A)$