MIT_线性代数笔记：复习二

第二单元主要内容

1. 正交矩阵 Q，用矩阵形式描述正交性质。
   

投影矩阵 P，最小二乘法，在方程无解时求“最优解”。 Gram-Schmidt 正交化——从任意一组基得到标准正交基，策略是从向量
中减去投影到其它向量方向的分量。

2. 行列式 det(A)
   三个性质定义了行列式，可以推导出之后的性质 4~10。
   行列式展开公式包含 n！个非零项，一半取+，一半取-。
   代数余子式公式，以及推导出逆矩阵公式 $A^{?1}=\frac{1}{det(A)}{C}^T$

3. 特征值 Ax = λx
   det（A-λI）=0
   对角化：如果矩阵 A 包含 n 个线性无关的特征向量，可以对角化得到$S^{?1}AS=\Lambda$
   矩阵 A 的幂：$A^k=(S\Lambda S^{?1}{)}^k=S{\Lambda }^k{S}^{?1}$

例题

1、a =$\left[\begin{array}{c}2\\ 1\\ 2\end{array}\right]$
a）求投影到向量 a 方向的投影矩阵 P。
解：$P=A(A^{T}A{)}^{?1}{A}^T$，这里 a 是向量，因此有
$$P=\frac{a{a}^T}{a^{T}a}=\frac{1}{9}\left[\begin{array}{ccc}4& 2& 4\\ 2& 1& 2\\ 4& 2& 4\end{array}\right]$$
b）求矩阵 P 的秩
解：矩阵的秩为 1，因为所有的列都是第二列的倍数。或者从投影矩阵投影的空间是 1 维可以判断出来。
c）矩阵 P 的列空间？
解：向量 a 所在的直线。
d）矩阵 P 的特征值？
解：矩阵的秩为 1，因此存在重特征值 0，再从矩阵的迹可以得到另一个特征值为 1。即特征值为 1,0,0。
e）求矩阵 P 对应特征值 1 的特征向量？
解：因为矩阵 P 为投影矩阵，在投影空间中的向量就是对应特征值 1 的特征向量，因此 a 就是对应的特征向量。
f）若有 $u_{k+1}=P{u}_k$，且有初值 u0=$\left[\begin{array}{c}9\\ 9\\ 0\end{array}\right]$ 求 uk？
解：重复将一个向量投影到一条直线，从第二次开始投影结果即不发生变化。
$$uk=P^k{u}_0=P{u}_0=\frac{a^T{u}_0}{a^{T}a}=3a=\left[\begin{array}{c}6\\ 3\\ 6\end{array}\right]$$

g）测验中可能出现 $u_k+1=A{u}_k$，其中的矩阵 A 不是投影矩阵，没有投影矩阵的性质 $P^k{u}_0=P{u}_0$，此时需要求矩阵的特征值和特征向量。
$u_0=c_1{x}_1+c_2{x}_2+c_3{x}_3$
则$uk=c_1{\lambda }_1^k{x}_1+c_2{\lambda }_2^k{x}_2+c_3{\lambda }_3^k{x}_3$
对于投影矩阵而言，${\lambda }_1=1，{\lambda }_2={\lambda }_3=0$。因此有 $u_1=u_2=u_3=\dots \dots$

2. 已知以下数据点

a）求利用三个数据点拟合过原点的一条直线 y=Dt？
解：$\left[\begin{array}{c}1\\ 2\\ 3\end{array}\right]D=\left[\begin{array}{c}4\\ 5\\ 8\end{array}\right]$ ，我们求解的问题就是求方程的最优解 D? 。
$A^{T}AD?=A^{T}b$。 解得 D? =19/7。因此直线解析式为 y=(19/7)t。
b）怎样从投影来理解这个问题？
解：对于最小二乘问题有两种理解方法。其中一种是找到平面内最优的一条直线。另一种是将 $b=\left[\begin{array}{c}4\\ 5\\ 8\end{array}\right]$投影到 A 的列空间，来得到最接近于 Ax=b 的解。

3. 向量 $a_1=\left[\begin{array}{c}1\\ 2\\ 3\end{array}\right]$和 $a_2=\left[\begin{array}{c}1\\ 1\\ 1\end{array}\right]$向量确定了一个平面，找到该平面的一组正交基。
   解：应用 Gram-Shmidt 正交化方法。取 a1为第一个方向，找出垂直于该方向的向量 B。策略就是在 a2中减掉它在 a1方向上的分量，得到完全垂直于 a1的部分：
   $$B=a_2?\frac{a_1^T{a}_2}{a_1^T{a}_1}{a}_1=\left[\begin{array}{c}4/7\\ 1/7\\ ?2/7\end{array}\right]$$

4. 已知一个 4 阶方阵 A 具有特征值λ1，λ2，λ3，λ4。
   a）特征值需要满足什么条件才能保证 A 为可逆矩阵。
   解：当且仅当矩阵的特征值均不为 0 的时候，A 为可逆矩阵。若有特征值 0 存在，则矩阵零空间有非零向量，矩阵不可逆。
   b）求逆矩阵行列式的值？
   解：$A^{?1}$的特征值为 A 特征值的倒数。因此 $det(A^{?1})=\frac{1}{{\lambda }_1}\frac{1}{{\lambda }_2}\frac{1}{{\lambda }_3}\frac{1}{{\lambda }_4}$
   c）求(A+I )的迹？
   解：矩阵的迹等于其特征值的和，(A+I)的特征值为${\lambda }_1+1，{\lambda }_2+1，{\lambda }_3+1，{\lambda }_4+1$，则该矩阵的迹为${\lambda }_1+{\lambda }_2+{\lambda }_3+{\lambda }_4+4$。

5. 已知三对角矩阵：
   $$A_4=\left[\begin{array}{cccc}1& 1& 0& 0\\ 1& 1& 1& 0\\ 0& 1& 1& 1\\ 0& 0& 1& 1\end{array}\right]$$
   令 $D_n=det(A_n)$
   a）用代数余子式的方法求出 $D_n=a{D}_{n?1}+b{D}_{n?2}$中的 a,b?
   解：用代数余子式可得 D4=(1)D3+(-1)D2。
   b）利用找到的递归方程 $D_n=a{D}_{n?1}+b{D}_{n?2}$，求 $D_n$？
   解：把它当作方程组来求解，我们首先解得初值 D1=1，D2=0。
   按照递归方程构造 2 阶线性方程：
   $$\left[\begin{array}{c}{D}_n\\ D_{n?1}\end{array}\right]=\left[\begin{array}{cc}1& ?1\\ 1& 0\end{array}\right]\left[\begin{array}{c}{D}_{n?1}\\ D_{n?2}\end{array}\right]$$
   求解矩阵的特征值可得： $\lambda =\frac{1\pm \sqrt{3}i}{2}=\frac{e\pm i\pi }{3}$，均为模为 1 的复数，在单位圆上旋转。可以看到${\lambda }_1^6={\lambda }_2^6=1$，矩阵经六次变换变为单位阵。该序列既不发散也不收敛，数列以 6 次为重复周期不停循环，1,0,-1,0,1,1。

6. 有一组对称矩阵：
   $$A_2=\left[\begin{array}{cc}0& 1\\ 1& 0\end{array}\right]A_3=\left[\begin{array}{ccc}0& 1& 0\\ 1& 0& 2\\ 0& 2& 0\end{array}\right]A_4=\left[\begin{array}{cccc}0& 1& 0& 0\\ 1& 0& 2& 0\\ 0& 2& 0& 3\\ 0& 0& 3& 0\end{array}\right]$$

a）找到投影到矩阵 A3列空间的投影矩阵 P。
解：矩阵 A3为奇异阵，其第 3 列列向量为第 1 列的 3 倍，而第 1,2 列线性无关，因此其列空间为一个平面，取其前两列列向量组成矩阵 A，则有
$$P=A(A^{T}A{)}^{?1}{A}^T=\left[\begin{array}{ccc}1/5& 0& 2/5\\ 0& 1& 0\\ 2/5& 0& 4/5\end{array}\right]$$

可以通过将矩阵 A3的列向量乘以投影矩阵来验证这一结果，在平面内的向量投影后应该不发生变化。
b）求 A3的特征值和特征向量?
解：$$det(A_3?\lambda I)=\left|\begin{array}{ccc}?\lambda & 1& 0\\ 1& ?\lambda & 2\\ 0& 2& ?\lambda \end{array}\right|=?{\lambda }^3+5\lambda =0$$
解得三个特征值，λ1=0，λ2=$\sqrt{5}$，λ3=$?\sqrt{5}$。可用矩阵的迹做检查。
求解（$A_3?\lambda I$）x=0，可得特征向量 $x_1=\left[\begin{array}{c}?2\\ 0\\ 1\end{array}\right],x_2=\left[\begin{array}{c}1\\ ?\sqrt{5}\\ 2\end{array}\right],x_3=\left[\begin{array}{c}1\\ \sqrt{5}\\ 2\end{array}\right]$

c）找到投影到矩阵 A4列空间的投影矩阵 P？
解：因为 $A_4$为可逆矩阵，所以它的列空间就是整个$R_4$空间，所以 P=I。而可逆矩阵的证明可以采用求行列式的办法，用代数余子式展开可得 $det(A_4)=9$。