无论是机器学习还是深度学习,数学基础都非常重要。首先,数学基础是理解各个机器学习算法公式的先驱条件,其次,数学基础也能够帮助我们更加深入地了解算法的内在原理。
在数据科学中会遇到各种各样的算法,也会遇到各样的数学知识点。今天,我将会为大家总结一下常见的数学知识点,并推荐一些相应的阅读书籍。
1 数据科学中的数学知识
机器学习和深度学习中所用的数学知识主要来自以下几门课:
- 高等数学/微积分
- 线性代数与矩阵论
- 概率论与信息论
- 最优化方法
- 图论/离散数学
总体来说需要如下知识点,这些知识点一般都是CS&EE专业在大一和大二必修和选修的课程,大家可以查漏补缺。
1.1 微积分
- 函数极限
- 上确界与下确界
- 导数与偏导数
- 单调性与极值
- 函数的凹凸性
- 泰勒级数
- 牛顿-莱布尼兹公式
- Lipschitz连续性
- Hessian矩阵
1.2 线性代数与矩阵运算
- 线性空间与线性映射
- 行列式求解
- 常见的矩阵运算
- 特征值与特征向量
- 广义特征值
- 奇异值分解
1.3 概率论与数理统计
- 概率空间与事件
- 独立性与条件概率
- 贝叶斯公式
- 随机变量与概率公式
- 大数定理与中心极限定理
- Jensen不等式
- 常见的概率分布
- 协方差
- 参数估计:矩估计/极大似然估计/区间估计
- 随机算法
- 信息论基础
1.4 最优化方法
- 凸优化介绍,凸函数与凸集合
- 拉格朗日乘数法与KKT条件
- 常见的凸优化问题
1.5 图论
- 图概念
- 常见的图
- 路径搜索问题
- 最大流问题
- 拉普拉斯矩阵
为了让大家更好的学习,接下来我将针对上述的知识点推荐对应的一些教材,都是非常经典的教材,强烈建议阅读。
2 数学基础的推荐教材
2.1 花书《深度学习》
https://book.douban.com/subject/27087503/
- 推荐系数:☆☆☆☆☆
- 推荐理由:这本书非常经典也非常基础,虽然内容主要是深度学习相关,但这本书在前几章的内容却是数学基础(前四章都是数学基础)
2.2《Probability and Statistics》
https://book.douban.com/subject/4130410/
- 推荐系数:☆☆☆☆
- 推荐理由:这本是作为概率论与统计的非常棒的入门教材,全书非常基础,很适合入门使用。这本书在国内也有翻译,鉴于翻译水平有限,推荐直接阅读英文原版。
2.3《All of Statistics》
https://book.douban.com/subject/4714168/
- 推荐系数:☆☆☆☆
- 推荐理由:本书是CMU36705的课程教材,作者是美国科学院院士Larry A. Wasserman。本书从统计学与计算机科学两个角度来撰写,可以说是一本为统计学者写的计算机领域的书,为计算机学者写的统计领域的书。这本书我读过三遍了,内容非常精简,推荐阅读。
2.4《Introduction to Linear Algebra》
https://book.douban.com/subject/3582335/
- 推荐系数:☆☆☆☆
- 推荐理由:大名鼎鼎的MIT18.06课程的教材,也是学习线性代数最好的教材。
2.5《Matrix Analysis》
https://book.douban.com/subject/1479315/
- 推荐系数:☆☆☆☆
- 推荐理由:这本书介绍了矩阵分析和计算的各种应用和细节,如果你想深入学习矩阵分析,这是最好的教材。