1. 线性回归通常采用给定的函数值与模型预测值之差的平方和最小为损失函数, 并使用最小二乘法和梯度下降法来计算最终的拟合参数。
  2. 非线性回归算法:
  1. 就是将非线性回归转化为线性回归,再按照线性回归求解。
  2. 自变量与因变量之间的函数表达式的非线性体现在至少有一个变量的指数不是1即(幂函数,指数函数,对数函数,S函数等形式)。
  3. 可将部分非线性回归转化为线性回归(Linear Regression)的方式来求解非线性回归问题;部分非线性回归无法转化为线性回归但是可以转换成多项式回归(Polynomial Regression)。
  4. 部分非线性函数和线性函数有直接的变换关系:

python 多元非线性数值预测 多元非线性回归算法_算法