线性回归和最小二乘法 

 周志华西瓜书3.2、P55公式推导

公式推导如下

 

西瓜书线性回归和最小二乘法公式推导_最小二乘法

对应的需要有些矩阵求导的公式:

其中我们约定,大写字母表示矩阵,小写字母表示标量,小写字母加粗表示向量,大部分书中都是这么约定,不过也要视情况而定。

 

西瓜书线性回归和最小二乘法公式推导_矩阵求导_02

 如果对公式产生疑惑也不要紧,可以看看这里的链接


如果还是不清楚,那么久补一补矩阵的知识 。推荐张贤达的矩阵分析