【矩阵论】Chapter 9—广义逆矩阵知识点总结复习

广义逆矩阵

1 广义逆矩阵定义

• 广义逆矩阵$G$的定义：对任意$m\times n$矩阵的$A$，如果存在某个$n\times m$的矩阵$G$，满足Penrose方程的一部分或全部，则称$G$为$A$的广义逆矩阵

  Penrose方程的四个条件：

  1. $AGA=A$;
  2. $GAG=G$;
  3. $(AG{)}^T=AG$;
  4. $(GA{)}^T=GA$

  满足第$i$个条件，则把$G$记为$A^{(i)}$，这类矩阵的全体记为 A { i } A\{i\} A{i}，所以 A i ∈ A { i } A^{i}\in A\{i\} Ai∈A{i}

  类似，满足第$i,j$个条件： A i , j ∈ A { i , j } A^{i,j}\in A\{i,j\} Ai,j∈A{i,j}

  根据以上，满足$1$个，$2$个，$3$个，$4$个Penrose方程的广义逆矩阵有$C_4^1+C_4^2+C_4^3+C_4^4=4+6+4+1=15$，但应用最多的，也就是我们所学的以下四种：

  1. 减号逆或者$g$逆：$A^{?}=A^{(1)}$
  2. 最小二乘广义逆：$A_l^{?}=A^{(1,3)}$
  3. 极小范数广义逆：$A_m^{?}=A^{(1,4)}$
  4. 加号逆或Moore-Penrose广义逆：$A^{+}=A^{(1,2,3,4)}$

2 减号逆

• $A^{?}$的性质

  设$A$为$m\times n$矩阵，$P$和$Q$分别是$m$阶和$n$阶非奇异方阵，且$B=PAQ$，$A^{?}$为A的减号逆，则：

  1. $rank(A)\le rank(A^{?})$
  2. $A{A}^{?}$和$A^{?}A$是幂等矩阵，并且$rank(A{A}^{?})=rank(A^{?}A)=rank(A)$
  3. Q ? 1 A ? P ? 1 ∈ B { 1 } Q^{-1}A^-P^{-1}\in B\{1\} Q?1A?P?1∈B{1}
  4. A T { 1 } = { G T ∣ G ∈ A { 1 } } A^T\{1\}=\{G^T|G\in A\{1\}\} AT{1}={GT∣G∈A{1}}

• （Penrose定理）

  设$A,B,C$分别为$m\times n,p\times q,m\times q$矩阵，则矩阵方程：
  $$AXB=C$$
  有解的充分必要条件是：
  $$A{A}^{?}C{B}^{?}B=C$$
  并且在有解的情况下，其通解为：
  $$X=A^{?}C{B}^{?}+Y?A^{?}AYB{B}^{?}$$
  其中$Y\in R^{n\times p}$是任意的矩阵。

• 求解$A^{?}$

  $A$为$m\times n$矩阵
  $$A^{?}=Q\times \left(\begin{array}{cc}{E}_r& G_{12}\\ G_{21}& G_{22}\end{array}\right)\times P$$
  其中$P,Q,E_r$通过对$A$进行如下操作得到，$G_{12},G_{21},G_{22}$均为常数矩阵，每一项均用$g_{ij}$表示常数，且$Q,P$维度均为$m\times n$，$E_r$是一个$r\times r$ 的对角矩阵，其中$r$是矩阵$A$的秩，$G_{12}$维度为$m\times (n?r)$ ，$G_{21}$维度为$(m?r)\times n$，$G_{22}$是一个$ (m-r) \times (n-r)$的矩阵。

  例子$A=\left[\begin{array}{ccc}3& 3& 3\\ 2& 2& 1\\ 1& 1& 2\end{array}\right]$?

  初等行变换化为行最简阶梯形矩阵，则$P=\left[\begin{array}{ccc}0& \frac{2}{3}& ?\frac{1}{3}\\ 0& ?\frac{1}{3}& \frac{2}{3}\\ 1& ?1& ?1\end{array}\right]$
  $$\left[\begin{array}{cccccc}3& 3& 3& 1& 0& 0\\ 2& 2& 1& 0& 1& 0\\ 1& 1& 2& 0& 0& 1\\ 1& 0& 0& & & \\ 0& 1& 0& & & \\ 0& 0& 1& & & \end{array}\right]\stackrel{r_1?r_3}{?}\left[\begin{array}{cccccc}1& 1& 2& 0& 0& 1\\ 2& 2& 1& 0& 1& 0\\ 3& 3& 3& 1& 0& 0\\ 1& 0& 0& & & \\ 0& 1& 0& & & \\ 0& 0& 1& & & \end{array}\right]\stackrel{\begin{array}{c}{r}_2?2r_1\\ r_3?3r_1\end{array}}{?}\left[\begin{array}{cccccc}1& 1& 2& 0& 0& 1\\ 0& 0& ?3& 0& 1& ?2\\ 0& 0& ?3& 1& 0& ?3\\ 1& 0& 0& & & \\ 0& 1& 0& & & \\ 0& 0& 1& & & \end{array}\right]\stackrel{\begin{array}{c}(?\frac{1}{3})\times r_2\\ r_1?2r_2\\ r_3+3r_2\end{array}}{?}\left[\begin{array}{cccccc}1& 1& 0& 0& \frac{2}{3}& ?\frac{1}{3}\\ 0& 0& 1& 0& ?\frac{1}{3}& \frac{2}{3}\\ 0& 0& 0& 1& ?1& ?1\\ 1& 0& 0& & & \\ 0& 1& 0& & & \\ 0& 0& 1& & & \end{array}\right]$$
  再进行列变换化为$E_r$得到$Q=\left[\begin{array}{ccc}1& 0& ?1\\ 0& 0& 1\\ 0& 1& 0\end{array}\right]$
  $$\left[\begin{array}{cccccc}1& 1& 0& 0& \frac{2}{3}& ?\frac{1}{3}\\ 0& 0& 1& 0& ?\frac{1}{3}& \frac{2}{3}\\ 0& 0& 0& 1& ?1& ?1\\ 1& 0& 0& & & \\ 0& 1& 0& & & \\ 0& 0& 1& & & \end{array}\right]\stackrel{\begin{array}{c}c2?c_1\end{array}}{?}\left[\begin{array}{cccccc}1& 0& 0& 0& \frac{2}{3}& ?\frac{1}{3}\\ 0& 0& 1& 0& ?\frac{1}{3}& \frac{2}{3}\\ 0& 0& 0& 1& ?1& ?1\\ 1& ?1& 0& & & \\ 0& 1& 0& & & \\ 0& 0& 1& & & \end{array}\right]\stackrel{\begin{array}{c}{c}_2?c_3\end{array}}{?}\left[\begin{array}{cccccc}1& 0& 0& 0& \frac{2}{3}& ?\frac{1}{3}\\ 0& 1& 0& 0& ?\frac{1}{3}& \frac{2}{3}\\ 0& 0& 0& 1& ?1& ?1\\ 1& 0& ?1& & & \\ 0& 0& 1& & & \\ 0& 1& 0& & & \end{array}\right]$$
  则$A^{?}=Q\times \left(\begin{array}{cc}{E}_r& G_{12}\\ G_{21}& G_{22}\end{array}\right)\times P=\left[\begin{array}{ccc}1& 0& ?1\\ 0& 0& 1\\ 0& 1& 0\end{array}\right]\times \left[\begin{array}{ccc}1& 0& g_{13}\\ 0& 1& g_{23}\\ g_{31}& g_{32}& g_{33}\end{array}\right]\times \left[\begin{array}{ccc}0& \frac{2}{3}& ?\frac{1}{3}\\ 0& ?\frac{1}{3}& \frac{2}{3}\\ 1& ?1& ?1\end{array}\right]=\left[\begin{array}{ccc}{g}_{13}?g_{33}& \frac{2}{3}?\frac{2}{3}{g}_{31}+\frac{1}{3}{g}_{32}?g_{13}+g_{33}& ?\frac{1}{3}+\frac{1}{3}{g}_{31}?\frac{2}{3}{g}_{32}?g_{13}+g_{33}\\ g_{33}& \frac{2}{3}{g}_{31}?\frac{1}{3}{g}_{32}?g_{33}& ?\frac{1}{3}{g}_{31}+\frac{2}{3}{g}_{32}?g_{33}\\ g_{23}& ?\frac{1}{3}?g_{23}& \frac{2}{3}?g_{23}\end{array}\right]$

  令$g_{ij}=0$，则$A^{?}=\left[\begin{array}{ccc}0& \frac{2}{3}& ?\frac{1}{3}\\ 0& 0& 0\\ 0& ?\frac{1}{3}& \frac{2}{3}\end{array}\right]$

• 利用$A^{?}$求解线性方程组$Ax=b$

  $Ax=b$有解的充分必要条件是$A{A}^{?}b=b$，这时特解$x_0=A^{?}b$，通解$x=A^{?}b+(I?A^{?}A)y,?y\in C^n$

  这里不给出$A^{?}$，感兴趣的读者可以自己去实现，具体的算法如下：

  1. 构造水平增广矩阵： 将原矩阵和单位矩阵水平拼接，形成增广矩阵。
  2. 初等行变换： 利用初等行变换将增广矩阵转化为最简行阶梯形式。
  3. 提取$P$： 变换后的单位矩阵就是$P$
  4. 构造垂直增广矩阵： 再将最简行阶梯形与单位矩阵垂直拼接，形成增广矩阵。
  5. 初等列变换，提取$G$： 变换后的单位矩阵就是$G$

3 最小二乘广义逆

• 定理1

  设$A\in C^{m\times n}$， G ∈ A { 1 , 3 } G\in A\{1,3\} G∈A{1,3}的充分必要条件是$G$满足
  $$A^{H}AG=A^H$$

  这即为 A { 1 , 3 } A\{1,3\} A{1,3}（最小二乘广义逆）的通式

• 定理2

  设$A\in C^{m\times n}$，$A_l^{?}$是$A$的任一最小二乘广义逆，则
  A { 1 , 3 } = { G ∈ C n × m ∣ A G = A A l ? } A\{1,3\}=\{G\in C^{n\times m}|AG=AA_l^-\} A{1,3}={G∈Cn×m∣AG=AAl??}

• 定理$3$

  设$A$是$m\times n$矩阵，则 G ∈ A { 1 , 3 } G\in A\{1,3\} G∈A{1,3}（即G为最小二乘广义逆）的充分必要条件为$x=Gb$是不相容线性方程组$Ax=b$的最小二乘解。

• 利用$A_l^{?}$求解线性方程组$Ax=b$

  $x$是不相容线性方程组$Ax=b$的最小二乘解当且仅当$x$是相容线性方程组
  $$Ax=A{A}_l^{?}b$$
  的解，并且$Ax=b$的最小二乘解的通式为$x=A_l^{?}b+(I?A^{?}A)y,?y\in C^n$

4 极小范数广义逆

• 定理1

  设$A\in C^{m\times n}$， G ∈ A { 1 , 4 } G\in A\{1,4\} G∈A{1,4}的充分必要条件是$G$满足
  $$GA{A}^H=A^H$$

  这即为 A { 1 , 4 } A\{1,4\} A{1,4}（极小范数广义逆）的通式

• 定理2

  设$A\in C^{m\times n}$，$A_m^{?}$是$A$的任一极小范数广义逆，则
  A { 1 , 4 } = { G ∈ C n × m ∣ G A = A m ? A } A\{1,4\}=\{G\in C^{n\times m}|GA=A_m^-A\} A{1,4}={G∈Cn×m∣GA=Am??A}

• 定理$3$

  设$A$是$m\times n$矩阵，则 G ∈ A { 1 , 4 } G\in A\{1,4\} G∈A{1,4}（即G为极小范数广义逆）的充分必要条件为$x=Gb$是相容线性方程组$Ax=b$的极小范数解。

• 利用$A_m^{?}$求解线性方程组$Ax=b$

  设$A$是$m\times n$矩阵，则 G ∈ A { 1 , 4 } G\in A\{1,4\} G∈A{1,4}的充分必要条件为$x=Gb$是相容线性方程组$Ax=b$的极小范数解，即$x=A_m^{?}b$为相容线性方程组$Ax=b$的极小范数解

注意：极小范数解是唯一的，而最小二乘解不唯一

5 Moore-Penrose（加号逆）

• $A^{+}$的性质

  • $A^{+}$存在且唯一
  • $A^{+}=A_m^{?}A{A}_l^{?}$

• 定理1

  设$A$是$m\times n$矩阵，则$G$是加号逆$A^{+}$的充分必要条件为$x=Gb$是不相容线性方程组$Ax=b$的极小最小二乘解。

• 重点

  因为加号逆满足四个条件，所以它也是减号逆、最小二乘广义逆、极小范数广义逆。所以：

  1. 当$b\in R(A)$时，$Ax=b$的通解为：
     $$x=A^{+}b+(I?A^{+}A)y,?y\in R^n$$

  2. 当$b\in R(A)$时，$Ax=b$的极小范数解为：
     $$x=A^{+}b$$
     极小范数解是唯一的

  3. 对于$?b$，$Ax=b$的最小二乘解为：
     $$x=A^{+}b+(I?A^{+}A)y,?y\in R^n$$

  4. 对于$?b$，$Ax=b$的具有极小范数的最小二乘解为：
     $$x=A^{+}b$$

• 求解$A^{+}$

  1. 若$A$为行满秩矩阵，则：$A^{+}=A^H(A{A}^H{)}^{?1}$
  2. 若$A$为列满秩矩阵：则：$A^{+}=(A^{H}A{)}^{?1}{A}^H$
  3. 否则利用满秩分解求解：$A^{+}=G^{+}{F}^{+}=G^H(G{G}^H{)}^{?1}(F^{H}F{)}^{?1}{F}^H$

  Python代码如下：

  import numpy as np
  from sympy import Matrix, Symbol
  
  def get_A_plus(A):
      A_plus = None
      # 判断A是行满秩还是列满秩，如果都不是则利用满秩分解求解A_plus
      if A.rank() == A.rows:
          print("A为行满秩矩阵")
          A_plus = A.H * (A * A.H).inv()
      elif A.rank() == A.cols:
          print("A为列满秩矩阵")
          A_plus = (A.H * A).inv() * A.H
      else:
          print("A为非满秩矩阵")
          # 利用满秩分解求解A_plus，full_rank在另一篇矩阵论复习博客中
          F, G = full_rank(A)
          A_plus = G.H * ((G * G.H).inv()) * ((F.H * F).inv()) * F.H
      return A_plus
  

• 利用$A^{+}$求解线性方程组$Ax=b$

  1. $Ax=b$有解（相容）的充要条件是$A{A}^{+}b=b$
  2. $x=A^{+}b+(I?A^{+}A)y,?y\in C^n$是相容方程组$Ax=b$的通解，或是不相容方程组$Ax=b$的全部最小二乘解
  3. $x_0=A^{+}b$是相容方程组$Ax=b$的唯一极小范数解，或是不相容方程组$Ax=b$的唯一极小范数最小二乘解

  Python代码如下：

  import numpy as np
  from sympy import Matrix, Symbol
  
  def get_solution(A, b):
      A_plus = get_A_plus(A)
      # 单位矩阵
      I = Matrix(np.eye(A_plus.rows))
      print("I:", I)
      # 生成符号列表
      symbols_list = [Symbol(f'y{i+1}') for i in range(A_plus.rows)]
      # 生成符号矩阵
      symbols_matrix = Matrix(symbols_list)
      print("symbols_matrix:", symbols_matrix)
  
      if A * A_plus * b == b:
          print("Ax = b有解")
          print("通解为：")
          print(A_plus.rows)
          print(A_plus * b + (I - A_plus * A) * symbols_matrix)
          print("唯一极小范数解为：")
          print(A_plus * b)
      else:
          print("Ax = b无解")
          print("全部最小二乘解为：")
          print(A_plus.rows)
          print(A_plus * b + (I - A_plus * A) * symbols_matrix)
          print("唯一极小范数最小二乘解：")
          print(A_plus * b)
  get_solution(A, b)