机器学习中的线性代数基础（Linear Algebra for Machine Learning and Data Science）

为什么要学习machine learning所需要的数学基础？

1.了解数学概念，更好的理解机器学习算法

2.深入理解后可以自定义算法而不是应用现成算法，同时能理解其优点、局限性及应该如何运用

3.可以运用数学工具优化算法

第一周：线性方程组

线性方程应用举例：神经网络

句子系统——与方程组合相似

完整系统：系统包含与句子一样多的信息量，无冗余无矛盾。非单一系统/非奇异系统。

冗余系统-包含冗余重复信息。单一/奇异系统

矛盾系统-包含矛盾信息。单一/奇异系统

2变量的线性方程组

对应完整系统——有唯一解

对应冗余系统——有无数解

对应矛盾系统——无解

标量（将变量放大/缩小的数字）

线性方程式的几何表达

两个变量的线性方程组对应平面中的线

对应完整非奇异系统——有唯一解——两条线相交于一点

对应冗余奇异系统——有无数解——两条线重合

对应矛盾奇异系统——无解——两条线平行

冗余-矛盾奇异系统的转化

当常量变为0时，矛盾系统转化为冗余系统，奇异性不变

奇异矩阵与非奇异矩阵

将线性方程组的系数提取到大括号中形成矩阵。

矩阵的奇异性与线性方程组相同。

行列式

奇异矩阵的各行之间不能通过乘以某个系数变换，它们是线性独立的。

当行列式为0是，矩阵是奇异矩阵。

行列式是主对角线乘积减去反对角线乘积。

3个变量的线性方程组

有可能有解，无穷多解，无解（矛盾）。

奇异矩阵与非奇异矩阵

常量的大小不影响矩阵的奇异与非奇异性。

三个变量的矩阵的几何表示

两个变量的矩阵对应的是二维空间中的线。

三个变量的矩阵对应的是三维空间中的面。

唯一解：三个面相交于一个点。

无穷多解：三个面相交于一条线（三个面中有重复的面，线上的点即是解）/或三个面重合（面上的所有点是解）

线性相关与独立

线性相关：矩阵中的某行如果可以通过其他行计算得到，那么矩阵中的行是线性相关的，矩阵是奇异矩阵。

线性独立：矩阵中的行如果不是线性相关的，即任何一行无法通过其他行计算得到。那么矩阵是非奇异矩阵

三阶矩阵的行列式表示

对主对角线方向上的每一条对角线上的数字求乘积，再将乘积求和 ，再减去反对角线上的所有对角线的数字乘积之和，结果如果为0，是奇异矩阵，否则是非奇异矩阵。

第二周 求解线性方程组

消去法

矩阵的应用举例：用于声音识别以及生成音乐的神经网络

对二变量线性方程组实行下列运算：对某方程乘以一个数，对两个方程进行运算以便削去其中一个变量a，然后可计算到b的值，之后代入b，即可得到a值

非奇异线性方程组：可用消去法得到a,b的值。因此有唯一解。

奇异线性方程组：使用消去法时a与b的值会一同消去，无法得到单独的a或b的值。因此会有无穷多解。

对三变量线性方程组实行消去法

原理和过程与二变量线性方程组类似。先消去a,再用上面方法计算得到b和c的值，最终得到a,b,c三个变量的值。

矩阵行减小（高斯消去法）

三种形式的梯形图：主对角线为1或0，左侧全为0，右侧1旁边为任何数字，0旁都为0。

1***

01**

001*

0000

（1）主对角线全为1

（2）主对角线有1有0

（3）主对角线全为0

换行，某行乘以某个系数，两行相加，这些操作不改变矩阵的奇异性

线性方程的求解系统

矩阵的轶---轶相当于矩阵对应的句子系统携带的信息量。

轶和解空间的关系：二阶矩阵的轶=2时，解的维度为0（点），非奇异矩阵；轶=1时，解的维度为1（线），奇异矩阵；轶=0时，解的维度为2（面），奇异矩阵。反之，了解解空间的维度，可以得到矩阵的轶。