无论是机器学习还是深度学习,数学基础都非常重要。首先,数学基础是理解各个机器学习算法公式的先驱条件,其次,数学基础也能够帮助我们更加深入地了解算法的内在原理。


在数据科学中会遇到各种各样的算法,也会遇到各样的数学知识点。今天,我将会为大家总结一下常见的数学知识点,并推荐一些相应的阅读书籍。


入门数据科学必备的数学基础知识_深度学习

1 数据科学中的数学知识


机器学习和深度学习中所用的数学知识主要来自以下几门课:


  • 高等数学/微积分
  • 线性代数与矩阵论
  • 概率论与信息论
  • 最优化方法
  • 图论/离散数学


总体来说需要如下知识点,这些知识点一般都是CS&EE专业在大一和大二必修和选修的课程,大家可以查漏补缺。


1.1 微积分


  • 函数极限
  • 上确界与下确界
  • 导数与偏导数
  • 单调性与极值
  • 函数的凹凸性
  • 泰勒级数
  • 牛顿-莱布尼兹公式
  • Lipschitz连续性
  • Hessian矩阵


1.2 线性代数与矩阵运算


  • 线性空间与线性映射
  • 行列式求解
  • 常见的矩阵运算
  • 特征值与特征向量
  • 广义特征值
  • 奇异值分解


1.3 概率论与数理统计


  • 概率空间与事件
  • 独立性与条件概率
  • 贝叶斯公式
  • 随机变量与概率公式
  • 大数定理与中心极限定理
  • Jensen不等式
  • 常见的概率分布
  • 协方差
  • 参数估计:矩估计/极大似然估计/区间估计
  • 随机算法
  • 信息论基础


1.4 最优化方法


  • 凸优化介绍,凸函数与凸集合
  • 拉格朗日乘数法与KKT条件
  • 常见的凸优化问题


1.5 图论


  • 图概念
  • 常见的图
  • 路径搜索问题
  • 最大流问题
  • 拉普拉斯矩阵


为了让大家更好的学习,接下来我将针对上述的知识点推荐对应的一些教材,都是非常经典的教材,强烈建议阅读。


2 数学基础的推荐教材


2.1 花书《深度学习》

入门数据科学必备的数学基础知识_深度学习_02​https://book.douban.com/subject/27087503/​


  • 推荐系数:☆☆☆☆☆
  • 推荐理由:这本书非常经典也非常基础,虽然内容主要是深度学习相关,但这本书在前几章的内容却是数学基础(前四章都是数学基础)


2.2《Probability and Statistics》

入门数据科学必备的数学基础知识_线性代数_03​https://book.douban.com/subject/4130410/​


  • 推荐系数:☆☆☆☆
  • 推荐理由:这本是作为概率论与统计的非常棒的入门教材,全书非常基础,很适合入门使用。这本书在国内也有翻译,鉴于翻译水平有限,推荐直接阅读英文原版。


2.3《All of Statistics》

入门数据科学必备的数学基础知识_线性代数_04​https://book.douban.com/subject/4714168/​


  • 推荐系数:☆☆☆☆
  • 推荐理由:本书是CMU36705的课程教材,作者是美国科学院院士Larry A. Wasserman。本书从统计学与计算机科学两个角度来撰写,可以说是一本为统计学者写的计算机领域的书,为计算机学者写的统计领域的书。这本书我读过三遍了,内容非常精简,推荐阅读。


2.4《Introduction to Linear Algebra》

入门数据科学必备的数学基础知识_线性代数_05​https://book.douban.com/subject/3582335/​


  • 推荐系数:☆☆☆☆
  • 推荐理由:大名鼎鼎的MIT18.06课程的教材,也是学习线性代数最好的教材。


2.5《Matrix Analysis》

入门数据科学必备的数学基础知识_深度学习_06​https://book.douban.com/subject/1479315/​


  • 推荐系数:☆☆☆☆
  • 推荐理由:这本书介绍了矩阵分析和计算的各种应用和细节,如果你想深入学习矩阵分析,这是最好的教材。


入门数据科学必备的数学基础知识_数学知识_07