1 - 线性子空间
- 线性组合：$\alpha_1 x_1+\alpha_2 x_2+\dots+\alpha_k x_k,x_i\in F^n,\alpha_i \in F$
- 线性相关：如果存在$\alpha_1,\dots,\alpha_k \in F$ 不全为零，使得$\alpha_1 x_1 + \dots + \alpha_k x_k=0$，则$x_1,\dots,x_i\in F^n$线性相关；否则线性无关
- 线性子空间：$span\{x_1,\dots,x_k\}:=\{x=\alpha_1 x_1+\alpha_2 x_2+\dots+\alpha_k x_k,\alpha_i \in F\}$
- 线性空间的基：如果$x_1,\dots,x_i\in F^n$线性无关，并且$S=span\{x_1,\dots,x_k\}$，则$\{x_1,\dots,x_k\} \in S$是$S$的一组基
- 正交基(垂直向量组)：如果对于所有的$i \ne j$，有$x_i \cdot x_j=0$，则$x_1,\dots,x_i\in F^n$是相互正交的；如果有$x_i \cdot x_j=\delta_{ij}$，则为标准正交基
- 正交补：子空间$S\subseteq F^n$的正交补 $S^{\bot}:=\{y\in F^n:y\cdot x=0, \forall x\in S \}$
- 线性变换：$A:F^n\to F^m$，任意矩阵都可以看作是一个线性变换
- 线性变换的零空间/核(kernel or null space)：$KerA=N(A):=\{x\in F^n:Ax=0\}$
- 线性变换的相空间(image or range of A)：$ImA=R(A):=\{y\in f^m:y=Ax,x\in F^n\}$
- 相空间与变换矩阵：令$a_i,i=1,2,\dots,n$为矩阵$A\in F^{m\times n}$的列，则$ImA=span\{a_1,a_2,\dots,a_n\}$
秩：矩阵$A$的秩的定义为$rank(A)=dim(ImA)$ 不相关向量的个数
- $rank(A)=rank(A^T)$
- 行满秩：$A \in F^{m\times n}$，如果$m\le n$，并且$rank(A)=m$
- 列满秩：$A \in F^{m\times n}$，如果$n\le m$，并且$rank(A)=n$
秩不等式：(矩阵相乘的秩不会增加) 令$A\in F^{m\times n},B\in F^{n\times k}$，则
$rank(A)+rank(B)-n \le rank(AB)\le min\{rank(A),rank(B) \}$
- 迹：矩阵$A=[a_{ij}]\in C^{n\times n}$的迹$Trace(A):=\sum a_{ii}$
- $Trace(\alpha A)=\alpha Trace(A),\forall \alpha\in C,A\in C^{n\times n}$
- $Trace(A+B)=Trace(A)+Trace(B)$
- $Trace(AB)=Trace(BA),\forall A\in C^{n\times m},B\in C^{m \times n}$
- 酉矩阵： $ U^{T}U=I=UU^{T} $ (行\列向量相互正交的方阵)
- 令 $D\in F^{n \times k}$ 使得 $D^TD=I$，则存在$D_\perp\in F^{n\times (n-k)}$，使得$[D,D_\perp]$是一个酉矩阵 (D是一个酉矩阵的切片)
- Sylvester方程：$AX+XB=C$
- 其中$A\in F^{n\times n},B\in F^{m\times m},c\in F^{n\times m}$
- 当且仅当$\lambda_i(A)+\lambda_j(B)\ne0,\forall i=1,2,\dots,n,\quad j=1,2,\dots,m$，有唯一的解$X\in F^{n\times m}$
- Lyapunov方程：$AX+XA^T=C$
- 若要有唯一的解$X\in F^{n\times m}$，$A$不能有关于Y轴镜像的特征值
- 特殊情况：A的所有特征值都在左半平面
2 - 特征值与特征向量
$A\in C^{n\times n}$特征值与特征向量：$\lambda\in C,x\in C^n$，有$Ax=\lambda x$
- $\lambda$为特征值，$x$为右特征向量(左特征向量：$y^TA=\lambda y^T$)
- 特征值：$det(\lambda I-A)$的根
- 谱半径：$\rho(A):=max|\lambda_i|$
约当标准型：$A\in C^{n\times n},\exists T$，使得$A=TJT^{-1}$
对角标准型：当$A\in R^{n\times n}$具有各不相同的特征值时，A具有对角标准型：
谱分解：$A=\sum \lambda_i x_i y_i^T$，其中$y_i\in C^n$，$[y_1^T,y_2^T,\dots,y_n^T]^T=[x_1,x_2,\dots,x_n]^{-1}$
- 实特征值：$A\in R^{n\times n}$具有实特征值$\lambda\in R$时，相应的特征向量也是实向量$x\in R^n$
- $Hermitian$矩阵的标准型：当$A$是$Hermitian$矩阵时($A=A^T$，对称矩阵/共轭矩阵)，存在酉矩阵$U$使得$A=U\Lambda U^T$，并且$\Lambda=diag\{\lambda_1,\lambda_2,\dots,\lambda_n\}$是实的
3 - 矩阵逆公式
- 逆矩阵公式1
- 逆矩阵公式2
- 逆矩阵公式3
逆矩阵公式4
分块矩阵的行列式定理
4 - 不变子空间
- 一个子空间$S\subset C^n$是一个$A$-不变子空间，如果对于每一个$x\in S$，有$Ax\in S$。
- 特别的，令$\lambda,x$为$A\in C^{n\times n}$的特征值和特征向量，则$S:=span\{x\}$是$A$-不变子空间（$Ax=\lambda x \in S$）
- 稳定不变子空间：若$A$-不变子空间$S\subset C^n$所有特征值的都具有负实部（稳定不变子空间将用于计算代数黎卡提方程的镇定解）
5 - 向量范数与矩阵范数
- 范数：令X为一个向量空间，$||\cdot||$为一个范数，如果
- $||x||\ge 0$
- $||x||=0\quad if\ and \ only \ if \quad x=0$
- $||\alpha x||=|\alpha|\cdot||x||$
- $||x+y||\le||x||+||y||$
$p$ -范数，$p$-范数诱导的矩阵范数
特别的，当$p=1,2,\infty$，有
$Frobenius$范数
- 范数的性质
- 假设$n\ge m$，那么$||x||=||y||$当且仅当有一个酉矩阵$U\in F^{n\times m}$使得$x=Uy$
- 假设$n=m$，那么$||x^Ty||\le||x^T||\cdot ||y||$，等号的成立条件为$x=\alpha y$或者$y=0$
- $||x||\le||y||$当且仅当一个矩阵$\Delta\in F^{n\times m}$，$||\Delta||\le 1$使得$x=\Delta y$
- $||Ux||=||x||$，其中$U$为酉矩阵
- $||UAV||=||A||,||UAV||_F=||A||_F$，其中$U,V$为酉矩阵
- $||AB||\le ||A||\cdot ||B||$，特别的，如果$A$可逆，则有$||A^{-1}||\ge||A||^{-1}$
- $||AB||_F\le||A||\cdot||B||_F,||AB||_F\le||B||\cdot||A||_F$
- $\rho(A)\le||A||$
6 - 奇异值分解
令$A\in F^{m\times n}$，存在酉矩阵$U=[u_1,u_2,\dots,u_m]\in F^{m\times m},V=[v_1,v_2,\dots,v_n]\in F^{n\times n}$，使得
其中$\Sigma_1=diag(\sigma_1,\sigma_2,\dots,\sigma_p),\quad\sigma_1\ge\sigma_2\ge\dots\ge\sigma_p$
奇异值分解的特性
- $Av_i=\sigma_iu_i,\ A^Tu_i=\sigma_iv_i$(奇异值方程)
- $A^TAv_i=\sigma^2_iv_i,\ AA^Tu_i=\sigma_i^2u_i$(特征值方程)
奇异值分解的解释
- 奇异值是矩阵“大小”的很好度量
- 奇异向量是矩阵“强弱”输入或输出方向的很好指标
- 几何上来说，一个矩阵的奇异值就是由下列定义的超椭圆的半轴长，$E:\{y:y=Ax,x\in C^n,||x||=1\}$
，因此$v_1$是使得$||y||$对所有$||x||=1$最大的方向，而$v_n$是使得$||y||$对所有$||x||=1$最小的方向 $v_1(v_n)$是最高(最低)增益输入方向，$u_1(u_n)$是最高(最低)增益的观测(输出)方向
奇异值的特性
- 奇异值的另类定义：$\bar{\sigma}(A):=\max _{|x|=1}|A x|,\ \underline{\sigma}(A):=\min _{|x|=1}|A x|$
- 假设$A,\Delta$为方阵，则有如下定理：
- $|\underline\sigma(A+\Delta)-\underline\sigma(A)|\le\bar\sigma(\Delta)$
- $\underline\sigma(A\Delta)\ge\underline\sigma(A)\underline\sigma(\Delta)$
- $\bar\sigma(A^{-1})=\frac{1}{\underline\sigma(A)}$，如果$A$是可逆的
- 对于扰动$\Delta$，当$\bar\sigma(\Delta)\le\underline\sigma(A)$时，$A+\Delta$是非奇异的
- 令$A\in F^{m\times n}$，并且$\sigma_1\ge\sigma_2\ge\dots\ge\sigma_r>\sigma_{r+1}=\dots=0$，$r\le \min\{m,n\}$，则有
- $rank(A)=r$
- $Ker \ A=span\{v_{r+1},v_{r+2},\dots,v_{n}\},\ (Ker \ A)^{\bot}=span\{v_1,v_2,\dots,v_r\}$
- $Im \ A=span\{u_1,u_2\dots,u_r\},\ (Im\ A)^\bot=span\{u_{r+1},u_{r+2},\dots,u_{m}\}$
- $A$的dyadic(双积)展开：$A=\sum_{i=1}^{r}\sigma_iu_iv_i^T=U_r\Sigma_rV_r^T$
- $||A||_F^2=\sigma_1^2+\sigma_2^2+\dots+\sigma_r^2,\ \ ||A||=\sigma$
7 - 伪逆
- 左逆与右逆：令$A\in F^{m\times n}$，如果$AX=I$，则$X\in F^{n\times m}$是$A$的一个右逆；若$YA=I$，则$Y$是$A$的一个左逆；
- 左逆与右逆不唯一，A的一个右逆为$X=A^T(AA^T)^{-1}$
- 伪逆(Moore-Penrose逆) $A^+$:
- $AA^+A=A,\ A^+AA^+=A^+$
- $(AA^+)^T=AA^+,\ (A^+A)^T=A^+A$
- 伪逆是唯一的
- 伪逆的计算
- $A=BC,\ A^+=C^{T}\left(C C^{T}\right)^{-1}(B^T B)^{-1} B^T$
- $A=U\Sigma V^T,\ A^+=V\Sigma^+U^T$
8 - 半正定矩阵
- 半正定矩阵主要用于分析二次型问题，任何二次型都有$x^TAx=\frac{1}{2}x^TAx+\frac{1}{2}x^TA^Tx=\frac{1}{2}x^T(A+A^T)x$，因此仅分析Hermitian矩阵的正定性
- 定义：对于$Hermitian$矩阵$A=A^T$，如果对于所有$x\ne0,\ x^TAx>0$，则称$A$是正定的，记为$A>0$；若$x^TAx\ge0$，则为半正定的
- $A\in F^{n\times n}$并且$A=A^T\ge0$，则存在$B\in F^{n\times r},\ r\ge rank(A)$使得$A=BB^T$
- 半正定矩阵的平方根：$A^{1/2}=(A^{1/2})^T$使得$A=A^{1/2}A^{1/2}=(A^{1/2})^2$
- 根据谱分解$A=U\Lambda U^T$，则有$A^{1/2}=U\Lambda^{1/2} U^T,\ \Lambda^{1/2}=diag\{\lambda_1^{1/2},\lambda_2^{1/2},\dots,\lambda_n^{1/2}\}$
- 若$A>0,\ B\ge 0$，则$A>B \ (A-B>0)$当且仅当$\rho(BA^{-1})<1$