线性代数的本质

视频：https://www.bilibili.com/video/BV1ys411472E

1、向量究竟是什么

物理解释：向量是空间中的箭头（长度、方向）

计算机解释：向量是有序的数字列表

点point (2, 3)

向量vector $\left[\begin{array}{c}2\\ 3\end{array}\right]$

线性代数围绕两种基本的运算：

向量加法与向量数乘

加法：位移结果

数轴Number line 加法
$$\begin{array}{rl}& 0\to 2+0\to 3=0\to 5\\ & =>\\ & 2+3=5\end{array}$$

向量加法
$$\left[\begin{array}{c}{x}_1\\ y_2\end{array}\right]+\left[\begin{array}{c}{x}_2\\ y_2\end{array}\right]=\left[\begin{array}{c}{x}_1+x_2\\ y_1+y_2\end{array}\right]$$

缩放：标量scalar * 向量
$$2\ast \left[\begin{array}{c}x\\ y\end{array}\right]=\left[\begin{array}{c}2x\\ 2y\end{array}\right]$$

2、线性组合、张成的空间、基

单位向量（基向量）

$\overrightarrow{i}$=(1,0), $\overrightarrow{j}$=(0,1)
$$\left[\begin{array}{cc}1& 0\\ 0& 1\end{array}\right]$$

缩放向量并且相加

$(3,2)$ (i, j) -> $3i+2j$

当使用数字描述向量时，都依赖于我们正在使用的基

线性组合：两个数乘向量的和被称为这两个向量的线性组合
$$a\overrightarrow{v}+b\overrightarrow{w}$$

$\overrightarrow{v}$ 与 $\overrightarrow{w}$ 全部线性组合构成的向量合称为“张成的空间”

单个向量看做箭头，多个向量看做点

线性相关 Linearly dependent：多个向量，移除其中一个不减小张成的空间

线性无关 Linearly independent：如果所有的向量都给张成的空间增加了新的维度

严格定义：

向量空间的一组基是张成该空间的一个线性无关向量集

3、矩阵与线性变换

变换 <=> 函数

矩阵看做是空间的变换

线性的条件：

1. 直线在变换后仍然保持为直线，不能有所弯曲

2. 原点必须保持固定

   两个点 (a, c)、(b, d)，矩阵的乘法

$$\left[\begin{array}{cc}a& b\\ c& d\end{array}\right]\left[\begin{array}{c}x\\ y\end{array}\right]=x\left[\begin{array}{c}a\\ c\end{array}\right]+y\left[\begin{array}{c}b\\ d\end{array}\right]=\left[\begin{array}{c}ax+by\\ cx+dy\end{array}\right]$$

1、逆时针旋转90度

i=(1, 0), j=(0, 1) => (0, 1), (-1, 0)

A (2, 2) => (-2, 2)

$$\left[\begin{array}{cc}0& -1\\ 1& 0\end{array}\right]\left[\begin{array}{c}2\\ 2\end{array}\right]=\left[\begin{array}{c}-2\\ 2\end{array}\right]$$

2、剪切基向量对角线剪开

i=(1, 0), j=(0, 1) => (0, 1), (1, 1)

A (2, 2) => (2, 4)
$$\left[\begin{array}{cc}0& 1\\ 1& 1\end{array}\right]\left[\begin{array}{c}2\\ 2\end{array}\right]=\left[\begin{array}{c}2\\ 4\end{array}\right]$$

4、矩阵乘法与线性变换复合

复合变换

旋转矩阵 + 剪切矩阵 => 复合矩阵
$$\left[\begin{array}{cc}1& 1\\ 0& 1\end{array}\right](\left[\begin{array}{cc}0& -1\\ 1& 0\end{array}\right]\left[\begin{array}{c}x\\ y\end{array}\right])=\left[\begin{array}{cc}1& -1\\ 1& 0\end{array}\right]\left[\begin{array}{c}x\\ y\end{array}\right]$$

矩阵乘法
$$\begin{gathered} \left[\begin{array}{cc}a& b\\ c& d\end{array}\right]\left[\begin{array}{cc}e& f\\ g& h\end{array}\right]=\left[\begin{array}{cc}ae+bg& af+bh\\ ce+dg& cf+dh\end{array}\right] \\ \left[\begin{array}{cc}a& b\\ c& d\end{array}\right]\left[\begin{array}{c}e\\ g\end{array}\right]=\left[\begin{array}{c}a\\ c\end{array}\right]e+\left[\begin{array}{c}b\\ d\end{array}\right]g=\left[\begin{array}{c}ae+bg\\ ce+dg\end{array}\right] \\ \left[\begin{array}{cc}a& b\\ c& d\end{array}\right]\left[\begin{array}{c}f\\ h\end{array}\right]=\left[\begin{array}{c}a\\ c\end{array}\right]f+\left[\begin{array}{c}b\\ d\end{array}\right]h=\left[\begin{array}{c}af+bh\\ cf+dh\end{array}\right] \end{gathered}$$
不满足交换律 $NM \neq MN $

满足结合律 $A(BC)=(AB)C$

5、三维空间中的线性变换

三维空间中坐标x,y,z 对应基向量

$(\overrightarrow{i},\overrightarrow{j},\overrightarrow{k})$

$$\left[\begin{array}{ccc}a& b& c\\ d& e& f\\ g& h& i\end{array}\right]\left[\begin{array}{c}x\\ y\\ z\end{array}\right]=\left[\begin{array}{c}a\\ d\\ g\end{array}\right]x+\left[\begin{array}{c}b\\ e\\ h\end{array}\right]y+\left[\begin{array}{c}c\\ f\\ i\end{array}\right]z=\left[\begin{array}{ccc}ax& by& cz\\ dx& ey& fz\\ gx& hy& iz\end{array}\right]$$

6、行列式

缩放比例，线性变换改变面积的比例被称为这个变换的行列式

行列式为正

行列式为0 变换减少了空间的维度

行列式为负 变换改变了空间的定向
$$det(\left[\begin{array}{cc}1& 2\\ 1& -1\end{array}\right])=-3$$
右手定则

右手食指指向i-hat方向

右手中指指向j-hat方向

大拇指竖起来，指向k-hat方向

计算行列式
$$det(\left[\begin{array}{cc}a& b\\ c& d\end{array}\right])=(a+b)(c+d)-ac-bd-2bc=ad-bc$$

三阶行列式 （体积）
$$det(\left[\begin{array}{ccc}a& b& c\\ d& e& f\\ g& h& i\end{array}\right])=a\ast det(\left[\begin{array}{cc}e& f\\ h& i\end{array}\right])+b\ast det(\left[\begin{array}{cc}d& f\\ g& i\end{array}\right]+c\ast det(\left[\begin{array}{cc}e& f\\ h& i\end{array}\right])$$

性质
$$det(M_1{M}_2)=det(M_1)det(M_2)$$

7、逆矩阵、列空间与零空间

线性方程组$A\overrightarrow{x}=\overrightarrow{v}$
$$\{\begin{array}{l}2x+5y+3z=-3\\ 4x+0y+8z=0\\ 1x+3y+0z=2\end{array}=>\left[\begin{array}{ccc}2& 5& 3\\ 4& 0& 8\\ 1& 3& 0\end{array}\right]\left[\begin{array}{c}x\\ y\\ z\end{array}\right]=\left[\begin{array}{c}-3\\ 0\\ 2\end{array}\right]$$
逆变换： $A^{-1}$ 称为 A 的逆

恒等变换，什么都不做
$$A^{-1}A$$
逆矩阵Inverse matrices 存在时，可以用来求解方程组
$$\begin{array}{rl}& A\overrightarrow{x}=\overrightarrow{v}\\ & A^{-1}A\overrightarrow{x}=A^{-1}\overrightarrow{v}\\ & \overrightarrow{x}=A^{-1}\overrightarrow{v}\end{array}$$

秩 Rank ：变换后空间的维数

列空间 Column space：所有可能的变换结果集合

变换后基向量张成的空间，就是所有可能的结果

换句话说，列空间就是矩阵的列所张成的空间

秩是列空间的维数

满秩Full rank：秩与列数相等

列空间与方程组解的个数有关

矩阵的零空间 null space 变换后落在原点的向量的集合

8、非方阵

$A_{2\times 3}$ 2维到3维变换
$$\left[\begin{array}{ccc}1& 2& 1\\ 1& 0& 2\end{array}\right]\left[\begin{array}{c}2\\ 1\\ 0\end{array}\right]=\left[\begin{array}{c}4\\ 2\end{array}\right]$$

$A_{3\times 2}$ 3维到2维变换
$$\left[\begin{array}{cc}1& 2\\ 1& 0\\ -1& 1\end{array}\right]\left[\begin{array}{c}2\\ 1\end{array}\right]=\left[\begin{array}{c}4\\ 2\\ -1\end{array}\right]$$

9、点积和对偶性

两个向量点积（数量积/投影）$\overrightarrow{v}\cdot \overrightarrow{w}$

$$\left[\begin{array}{c}4\\ 1\end{array}\right]\cdot \left[\begin{array}{c}2\\ -1\end{array}\right]=4\times 2+1\times (-1)=7$$

$${\left[\begin{array}{c}4\\ 1\end{array}\right]}^T\left[\begin{array}{c}2\\ -1\end{array}\right]=\left[\begin{array}{cc}4& 1\end{array}\right]\left[\begin{array}{c}2\\ -1\end{array}\right]=7$$

10、叉积

平行边行的面积 $\overrightarrow{v}\times \overrightarrow{w}=-\overrightarrow{w}\times \overrightarrow{v}$
$$\left[\begin{array}{c}3\\ 1\end{array}\right]\times \left[\begin{array}{c}2\\ -1\end{array}\right]=det(\left[\begin{array}{cc}3& 2\\ 1& -1\end{array}\right])$$

$3\overrightarrow{v}\times \overrightarrow{w}=3(\overrightarrow{v}\times \overrightarrow{w})$

右手定则

食指 $\overrightarrow{v}$

中指 $\overrightarrow{w}$

拇指 $\overrightarrow{v}\times \overrightarrow{w}$
$$\begin{gathered} \left[\begin{array}{c}{v}_1\\ v_2\\ v_3\end{array}\right]\times \left[\begin{array}{c}{w}_1\\ w_2\\ w_3\end{array}\right]=det(\left[\begin{array}{ccc}i& v_1& w_1\\ j& v_2& w_2\\ k& v_3& w_3\end{array}\right]) \\ i(v_2{w}_3-v_3{w}_2)+j(v_3{w}_1-v_1{w}_3)+k(v_1{w}_2-v_2{w}_1) \end{gathered}$$

11、基变换

$$\begin{gathered} A\left[\begin{array}{c}{x}_i\\ y_i\end{array}\right]=\left[\begin{array}{c}{x}_o\\ y_o\end{array}\right] \\ \left[\begin{array}{c}{x}_i\\ y_i\end{array}\right]=A^{-1}\left[\begin{array}{c}{x}_o\\ y_o\end{array}\right] \end{gathered}$$

##12、特征向量与特征值

能够被A拉伸且保持方向不变的向量就是A的特征向量，拉伸的倍数就是特征值

特征值：每个特征向量都有一个所属的值，衡量特征向量在变换中拉伸或压缩比例的因子
$$A\overrightarrow{v}=\lambda \overrightarrow{v}$$
特征向量 $\overrightarrow{v}$

特征值 $\lambda$

左边是用矩阵A将向量$\overrightarrow{v}$做了一个转换，右边是将向量拉伸了$\lambda$ 倍。
$$\begin{gathered} A\overrightarrow{v}=\lambda \overrightarrow{v} \\ A\overrightarrow{v}-\lambda \overrightarrow{v}=0 \\ (A-\lambda I)\overrightarrow{v}=0 \\ det(A-\lambda I)=0 \end{gathered}$$
对角矩阵

一组基向量（同样是特征向量）构成的集合被称为一组“特征基”

示例：求矩阵特征值,特征向量
A=[−110−430102]求解：∣A−λE∣=∣−1−λ10−43−λ0102−λ∣=(2−λ)∣−1−λ1−43−λ∣=(2−λ){(3−λ)(−1−λ)−(−4)}=(2−λ)(−3−3λ+λ+λ2+4)=(2−λ)(λ2−2λ+1)=(2−λ)(λ−1)2特征值λ=2,1当λ=2(A−2E)=0[−310−410100]x=0{−3x1+x2=0−4x1+x2=0x1=0{x2=0x1=0P1=[001]当λ=1(A−E)=0[−210−420101]x=0{−2x1+x2=0−4x1+2x2=0x1+x3=0{x2=2x1x3=−x1P2=[−1−21]\begin{aligned} & A = \begin{bmatrix} -1 & 1 & 0 \\ -4 & 3 & 0 \\ 1 & 0 & 2 \\ \end{bmatrix} \\ \\ &求解：\\ &|A - \lambda E| = \begin{vmatrix} -1-\lambda & 1 & 0 \\ -4 & 3-\lambda & 0 \\ 1 & 0 & 2 -\lambda\\ \end{vmatrix} =(2 -\lambda) \begin{vmatrix} -1-\lambda & 1 \\ -4 & 3-\lambda \\ \end{vmatrix} \\ &=(2 - \lambda)\{(3 - \lambda)(-1 - \lambda) - (-4)\} \\ &=(2 - \lambda)(-3-3 \lambda+\lambda + \lambda^2 + 4)\\ &=(2 - \lambda)(\lambda^2 -2\lambda + 1)\\ &=(2 - \lambda)(\lambda - 1)^2 \\ \\ &特征值 \lambda = 2, 1 \\ \\ & 当 \lambda = 2 \\ & (A - 2 E)= 0 \\ &\begin{bmatrix} -3 & 1 & 0 \\ -4 & 1 & 0 \\ 1 & 0 & 0\\ \end{bmatrix}x =0 \\ &\begin{cases} -3x_1 + x_2 = 0\\ -4x_1 + x_2 = 0 \\ x_1= 0 &\end{cases} \\ &\begin{cases} x_2 = 0\\ x_1= 0 &\end{cases} \\ &P_1 =\begin{bmatrix} 0 \\ 0 \\ 1 \\ \end{bmatrix} \\ \\ & 当 \lambda = 1 \\ & (A - E)= 0 \\ &\begin{bmatrix} -2 & 1 & 0 \\ -4 & 2 & 0 \\ 1 & 0 & 1\\ \end{bmatrix}x =0 \\ &\begin{cases} -2x_1 + x_2 = 0\\ -4x_1 + 2x_2 = 0 \\ x_1 + x_3 = 0 &\end{cases} \\ &\begin{cases} x_2 = 2x_1\\ x_3 = -x_1 &\end{cases} \\ &P_2 =\begin{bmatrix} -1 \\ -2 \\ 1 \\ \end{bmatrix} \end{aligned} ​A=⎣⎡​−1−41​130​002​⎦⎤​求解：∣A−λE∣=∣∣∣∣∣∣​−1−λ−41​13−λ0​002−λ​∣∣∣∣∣∣​=(2−λ)∣∣∣∣​−1−λ−4​13−λ​∣∣∣∣​=(2−λ){(3−λ)(−1−λ)−(−4)}=(2−λ)(−3−3λ+λ+λ2+4)=(2−λ)(λ2−2λ+1)=(2−λ)(λ−1)2特征值λ=2,1当λ=2(A−2E)=0⎣⎡​−3−41​110​000​⎦⎤​x=0⎩⎪⎨⎪⎧​−3x1​+x2​=0−4x1​+x2​=0x1​=0​​{x2​=0x1​=0​​P1​=⎣⎡​001​⎦⎤​当λ=1(A−E)=0⎣⎡​−2−41​120​001​⎦⎤​x=0⎩⎪⎨⎪⎧​−2x1​+x2​=0−4x1​+2x2​=0x1​+x3​=0​​{x2​=2x1​x3​=−x1​​​P2​=⎣⎡​−1−21​⎦⎤​​

13、抽象向量空间

函数 f(x)
$$
f(x) + g(x)\

af(x)
$$
满足以下两条的变换是线性的

1、可加性 Additivity
$$L(\overrightarrow{v}+\overrightarrow{w})=L(\overrightarrow{v})+L(\overrightarrow{w})$$

2、成比例 scaling
$$L(c\overrightarrow{v})=cL(\overrightarrow{v}))$$

线性代数	函数
线性变换	线性算子
点积	内积
特征向量	特征函数

向量加法和数乘
$$\begin{gathered} \overrightarrow{u}+(\overrightarrow{v}+\overrightarrow{w})=(\overrightarrow{u}+\overrightarrow{v})+\overrightarrow{w} \\ \overrightarrow{v}+\overrightarrow{w}=\overrightarrow{w}+\overrightarrow{v} \\ 0+\overrightarrow{v}=\overrightarrow{v} \\ \overrightarrow{v}+(-\overrightarrow{v})=0 \\ a(b\overrightarrow{v})=(ab)\overrightarrow{v} \\ 1\overrightarrow{v}=\overrightarrow{v} \\ a(\overrightarrow{v}+\overrightarrow{w})=a\overrightarrow{v}+a\overrightarrow{w} \\ (a+b)\overrightarrow{v}=a\overrightarrow{v}+b\overrightarrow{v} \end{gathered}$$

克莱姆法则

$$\begin{gathered} \{\begin{array}{l}2x-1y=4\\ 0x+1y=2\end{array} \\ \left[\begin{array}{cc}2& -1\\ 0& 1\end{array}\right]\left[\begin{array}{c}x\\ y\end{array}\right]=\left[\begin{array}{c}4\\ 2\end{array}\right] \\ x=\frac{Area}{det(A)}=\frac{det(\left[\begin{array}{cc}4& -1\\ 2& 1\end{array}\right])}{det(\left[\begin{array}{cc}2& -1\\ 0& 1\end{array}\right])}=\frac{4+2}{2}=\frac{6}{2}=3 \\ y=\frac{Area}{det(A)}=\frac{det(\left[\begin{array}{cc}2& 4\\ 0& 2\end{array}\right])}{det(\left[\begin{array}{cc}2& -1\\ 0& 1\end{array}\right])}=\frac{4}{2}=2 \end{gathered}$$