机器学习，需要一定的数学基础，需要掌握的数学基础知识特别多，如果从头到尾开始学，估计大部分人来不及，我建议先学习最基础的数学知识，基础知识可以分为高等数学、线性代数、概率论与数理统计三部分，我整理了相关数学基础资料：
源文件下载：
https://github.com/fengdu78/Data-Science-Notes/tree/master/0.math
内容简介
一、斯坦福大学CS229数学基础
这是斯坦福大学 CS 229 机器学习课程的基础材料，是斯坦福各大人工智能课程的数学基础，对人工智能课程做了优化，强烈推荐！！
我们对原始教程进行了翻译，翻译版本做成了在线阅读版本。
二、国内大学的数学基础教材精华
这个是我考研考博时候整理的中文教材的资料，分为高等数学、线性代数、概率论与数理统计三部分，我把和机器学习相关的数学知识进行了整理，进行公布。
本文是线性代数部分，建议收藏慢慢看。
行列式
1.行列式按行（列）展开定理
(1) 设 ，则：
或即 其中：
(2) 设 为 阶方阵，则 ，但 不一定成立。
(3) , 为 阶方阵。
(4) 设 为 阶方阵， （若 可逆），
(5) ， 为方阵，但
(6) 范德蒙行列式
设 是 阶方阵， 是 的 个特征值，则
矩阵
矩阵： 个数 排成 行 列的表格 称为矩阵，简记为 ，或者 。若 ，则称 是 阶矩阵或 阶方阵。
矩阵的线性运算
1.矩阵的加法
设 是两个 矩阵，则 矩阵 称为矩阵 与 的和，记为
2.矩阵的数乘
设 是 矩阵， 是一个常数，则 矩阵 称为数 与矩阵 的数乘，记为 。
3.矩阵的乘法
设 是 矩阵， 是 矩阵，那么 矩阵 ，其中称为 的乘积，记为
4. 、 、 三者之间的关系
(1)
(2)
但 不一定成立。
(3) ，
但 不一定成立。
(4)
5.有关 的结论
(1)
(2)
(3) 若 可逆，则
(4) 若 为 阶方阵，则：
6.有关 的结论
可逆
可以表示为初等矩阵的乘积； 。
7.有关矩阵秩的结论
(1) 秩 =行秩=列秩；
(2)
(3) ；
(4)
(5) 初等变换不改变矩阵的秩
(6) 特别若 则：
(7) 若 存在 若 存在
若 若 。
(8) 只有零解
8.分块求逆公式
； ；
；
这里 ， 均为可逆方阵。
向量
1.有关向量组的线性表示
(1) 线性相关 至少有一个向量可以用其余向量线性表示。
(2) 线性无关， ， 线性相关 可以由 唯一线性表示。
(3) 可以由 线性表示
2.有关向量组的线性相关性
(1)部分相关，整体相关；整体无关，部分无关.
(2) ① 个 维向量 线性无关 ， 个 维向量 线性相关
② 个 维向量线性相关。
③ 若 线性无关，则添加分量后仍线性无关；或一组向量线性相关，去掉某些分量后仍线性相关。
3.有关向量组的线性表示
(1) 线性相关 至少有一个向量可以用其余向量线性表示。
(2) 线性无关， ， 线性相关 可以由 唯一线性表示。
(3) 可以由 线性表示
4.向量组的秩与矩阵的秩之间的关系
设 ，则 的秩 与 的行列向量组的线性相关性关系为：
(1) 若 ，则 的行向量组线性无关。
(2) 若 ，则 的行向量组线性相关。
(3) 若 ，则 的列向量组线性无关。
(4) 若 ，则 的列向量组线性相关。
5. 维向量空间的基变换公式及过渡矩阵
若 与 是向量空间 的两组基，则基变换公式为：
其中 是可逆矩阵，称为由基 到基 的过渡矩阵。
6.坐标变换公式
若向量 在基 与基 的坐标分别是 ，
即： ，则向量坐标变换公式为 或 ，其中 是从基 到基 的过渡矩阵。
7.向量的内积
8.Schmidt 正交化
若 线性无关，则可构造 使其两两正交，且 仅是 的线性组合 ，再把 单位化，记 ，则 是规范正交向量组。其中 ， ，
............
9.正交基及规范正交基
向量空间一组基中的向量如果两两正交，就称为正交基；若正交基中每个向量都是单位向量，就称其为规范正交基。
线性方程组
1．克莱姆法则
线性方程组，如果系数行列式 ，则方程组有唯一解，，其中 是把 中第 列元素换成方程组右端的常数列所得的行列式。
2. 阶矩阵 可逆 只有零解。 总有唯一解，一般地， 只有零解。
3.非奇次线性方程组有解的充分必要条件，线性方程组解的性质和解的结构
(1) 设 为 矩阵，若 ，则对 而言必有 ，从而 有解。
(2) 设 为 的解，则 当 时仍为 的解；但当 时，则为 的解。特别 为 的解； 为 的解。
(3) 非齐次线性方程组 无解 不能由 的列向量 线性表示。
4.奇次线性方程组的基础解系和通解，解空间，非奇次线性方程组的通解
(1) 齐次方程组 恒有解(必有零解)。当有非零解时，由于解向量的任意线性组合仍是该齐次方程组的解向量，因此 的全体解向量构成一个向量空间，称为该方程组的解空间，解空间的维数是 ，解空间的一组基称为齐次方程组的基础解系。
(2) 是 的基础解系，即：
- 是 的解；
- 线性无关；
- 的任一解都可以由 线性表出. 是 的通解，其中 是任意常数。
矩阵的特征值和特征向量
1.矩阵的特征值和特征向量的概念及性质
(1) 设 是 的一个特征值，则 有一个特征值分别为 且对应特征向量相同（
(2)若 为 的 个特征值，则 ,从而 没有特征值。
(3)设 为 的 个特征值，对应特征向量为 ，
若:
则:
2.相似变换、相似矩阵的概念及性质
(1) 若 ，则
- ，对 成立
3.矩阵可相似对角化的充分必要条件
(1)设 为 阶方阵，则 可对角化 对每个 重根特征值 ，有
(2) 设 可对角化，则由 有 ，从而
(3) 重要结论
- 若 ，则 .
- 若 ，则 ，其中 为关于 阶方阵 的多项式。
- 若 为可对角化矩阵，则其非零特征值的个数(重根重复计算)＝秩( )
4.实对称矩阵的特征值、特征向量及相似对角阵
(1)相似矩阵：设 为两个 阶方阵，如果存在一个可逆矩阵 ，使得 成立，则称矩阵 与 相似，记为 。
(2)相似矩阵的性质：如果 则有：
- （若 ， 均可逆）
- （ 为正整数）
- λ λ ，从而
- ，从而 同时可逆或者不可逆
- 秩 秩 λ λ ， 不一定相似
二次型
1. 个变量 的二次齐次函数
，其中 ，称为 元二次型，简称二次型. 若令,这二次型 可改写成矩阵向量形式 。其中 称为二次型矩阵，因为 ，所以二次型矩阵均为对称矩阵，且二次型与对称矩阵一一对应，并把矩阵 的秩称为二次型的秩。
2.惯性定理，二次型的标准形和规范形
(1) 惯性定理
对于任一二次型，不论选取怎样的合同变换使它化为仅含平方项的标准型，其正负惯性指数与所选变换无关，这就是所谓的惯性定理。
(2) 标准形
二次型 经过合同变换 化为
称为 的标准形。在一般的数域内，二次型的标准形不是唯一的，与所作的合同变换有关，但系数不为零的平方项的个数由 唯一确定。
(3) 规范形
任一实二次型 都可经过合同变换化为规范形，其中 为 的秩， 为正惯性指数， 为负惯性指数，且规范型唯一。
3.用正交变换和配方法化二次型为标准形，二次型及其矩阵的正定性
设 正定 正定； , 可逆； ，且
， 正定 正定，但 ， 不一定正定
正定
的各阶顺序主子式全大于零
的所有特征值大于零
的正惯性指数为
存在可逆阵 使
存在正交矩阵 ，使
其中 正定 正定； 可逆； ，且
关于本站
“机器学习初学者”公众号由是黄海广博士创建，黄博个人知乎粉丝23000+，github排名全球前110名（32000+）。本公众号致力于人工智能方向的科普性文章，为初学者提供学习路线和基础资料。原创作品有：吴恩达机器学习个人笔记、吴恩达深度学习笔记等。
