python的线性拟合工具 python线性拟合怎么做

不受约束的问题

非线性规划问题分为两种问题：无约束和约束。 不受约束的优化问题是形式上的问题

$\min \boldsymbol{f}\left( \boldsymbol{x} \right) ,\boldsymbol{x}=\left[ \boldsymbol{x}_1,\boldsymbol{x}_2,\cdots ,\boldsymbol{x}_{\boldsymbol{n}} \right] ^{\boldsymbol{T}}\in \mathbb{R}^{\boldsymbol{n}}\,\, \left( 1 \right)$

一个一般的约束优化问题包括方程（1）中具有相等约束的目标函数：

$\boldsymbol{E}\left( \boldsymbol{x} \right) =0 \left( 2 \right)$

和不平等约束：

$\boldsymbol{I}\left( \boldsymbol{x} \right) \leqslant 0 \left( 3 \right)$

其中，$\boldsymbol{x}\in \mathbb{R}^{\boldsymbol{n}},\boldsymbol{E}\left( \boldsymbol{x} \right) \in \mathbb{R}^{\boldsymbol{p}}和\,\,\boldsymbol{I}\left( \boldsymbol{x} \right) \in \mathbb{R}^{\boldsymbol{q}}$

在本节中，将考虑上述问题（1）。如果$\boldsymbol{x}^*=\left[ \boldsymbol{x}_{1}^{*},\boldsymbol{x}_{2}^{*},\cdots ,\boldsymbol{x}_{\boldsymbol{n}}^{*} \right] ^{\boldsymbol{T}}\in \mathbb{R}^{\boldsymbol{n}}$是问题的最优解，则

$\boldsymbol{g}\left( \boldsymbol{x}^* \right) =0 \left( 4 \right) \\\boldsymbol{y}^{\boldsymbol{T}}\boldsymbol{H}\left( \boldsymbol{x}^* \right) \boldsymbol{y}\geqslant 0,\forall \boldsymbol{y}\in \mathbb{R}^{\boldsymbol{n}}\,\, \left( 5 \right)$

其中$\boldsymbol{g}\left( \boldsymbol{x} \right) =\nabla \boldsymbol{f}\left( \boldsymbol{x} \right)$ 是梯度向量，$\boldsymbol{H}\left( \boldsymbol{x} \right)$

$\boldsymbol{g}\left( \boldsymbol{x} \right) =\nabla \boldsymbol{f}\left( \boldsymbol{x} \right) =\left[ \begin{array}{c} \frac{\partial \boldsymbol{f}\left( \boldsymbol{x} \right)}{\partial \boldsymbol{x}_1}\\ \frac{\partial \boldsymbol{f}\left( \boldsymbol{x} \right)}{\boldsymbol{x}_2}\\ \vdots\\ \frac{\partial \boldsymbol{f}\left( \boldsymbol{x} \right)}{\partial \boldsymbol{x}_{\boldsymbol{n}}}\\\end{array} \right] \\\boldsymbol{H}\left( \boldsymbol{x} \right) =\left[ \begin{matrix} \frac{\partial ^2\boldsymbol{f}\left( \boldsymbol{x} \right)}{\partial \boldsymbol{x}_{1}^{2}}& \frac{\partial ^2\boldsymbol{f}\left( \boldsymbol{x} \right)}{\partial \boldsymbol{x}_1\partial \boldsymbol{x}_2}& \cdots& \frac{\partial ^2\boldsymbol{f}\left( \boldsymbol{x} \right)}{\partial \boldsymbol{x}_1\partial \boldsymbol{x}_{\boldsymbol{n}}}\\ \frac{\partial ^2\boldsymbol{f}\left( \boldsymbol{x} \right)}{\partial \boldsymbol{x}_2\partial \boldsymbol{x}_1}& \frac{\partial ^2\boldsymbol{f}\left( \boldsymbol{x} \right)}{\partial \boldsymbol{x}_{2}^{2}}& \cdots& \frac{\partial ^2\boldsymbol{f}\left( \boldsymbol{x} \right)}{\partial \boldsymbol{x}_2\partial \boldsymbol{x}_{\boldsymbol{n}}}\\ \vdots& \vdots& \ddots& \vdots\\ \frac{\partial ^2\boldsymbol{f}\left( \boldsymbol{x} \right)}{\partial \boldsymbol{x}_{\boldsymbol{n}}\partial \boldsymbol{x}_1}& \frac{\partial ^2\boldsymbol{f}\left( \boldsymbol{x} \right)}{\partial \boldsymbol{x}_{\boldsymbol{n}}\partial \boldsymbol{x}_2}& \cdots& \frac{\partial ^2\boldsymbol{f}\left( \boldsymbol{x} \right)}{\partial \boldsymbol{x}_{\boldsymbol{n}}^{2}}\\\end{matrix} \right]$

等式（5）表示黑森矩阵是一个正半定数。 式（4）-（5）是$\boldsymbol{x}^*$的必要最优条件。 如果条件（5）替换为条件：

$\boldsymbol{y}^{\boldsymbol{T}}\boldsymbol{H}\left( \boldsymbol{x}* \right) \boldsymbol{y}>0,\forall \boldsymbol{y}\in \mathbb{R}^{\boldsymbol{n}}\,\, \left( 6 \right)$

（即，黑森矩阵是正定的），则条件（4）-（6）是充分的最优性条件。

用于求解（1）的数值方法是迭代的。 他们将从解$\boldsymbol{x}^*$的初始猜测$\boldsymbol{x}^{\left( 0 \right)}$开始，然后构造解$\boldsymbol{x}^{\left( 0 \right)},\boldsymbol{x}^{\left( 1 \right)},\boldsymbol{x}^{\left( 2 \right)},\cdots ,$的序列，其中$\boldsymbol{f}\left( \boldsymbol{x}^{\left( 0 \right)} \right) >\boldsymbol{f}\left( \boldsymbol{x}^{\left( 1 \right)} \right) >\cdots$ 在迭代$\boldsymbol{k}$时，数值优化中从点$\boldsymbol{x}^{\left( \boldsymbol{k} \right)}$移至点$\boldsymbol{x}^{\left( \boldsymbol{k}+1 \right)}$通常需要经历两个步骤：第一步是搜索方向$\boldsymbol{p}^{\left( \boldsymbol{k} \right)}$确定，然后在第二步中沿$\boldsymbol{p}^{\left( \boldsymbol{k} \right)}$方向进行线搜索（其中$\left\| \boldsymbol{p}^{\left( \boldsymbol{k}+1 \right)} \right\| =1$）以找到最小点$\boldsymbol{x}^{\left( \boldsymbol{k}+1 \right)}=\boldsymbol{x}^{\left( \boldsymbol{k} \right)}+\boldsymbol{\alpha p}^{\left( \boldsymbol{k} \right)}$，使得$\boldsymbol{f}\left( \boldsymbol{x}^{\left( \boldsymbol{k}+1 \right)} \right) <\boldsymbol{f}\left( \boldsymbol{x}^{\left( \boldsymbol{k} \right)} \right)$ 。 如果满足以下条件，则迭代过程在解$\boldsymbol{x}^{\left( \boldsymbol{k} \right)}$处停止。

$\left\| \boldsymbol{g}\left( \boldsymbol{x}^{\left( \boldsymbol{k} \right)} \right) \right\| <\boldsymbol{\varepsilon }$

其中$\boldsymbol{\varepsilon }<0$是任意小的正实数，而$\boldsymbol{H}\left( \boldsymbol{x}^{\left( \boldsymbol{k} \right)} \right)$

无约束优化的数值优化技术关注两个问题：

1. 线搜索问题：给定一个函数$\boldsymbol{f}\left( \boldsymbol{x} \right)$ ，其梯度$\boldsymbol{g}\left( \boldsymbol{x} \right) =\nabla \boldsymbol{f}\left( \boldsymbol{x} \right)$ ，在迭代$\boldsymbol{k}$下降方向$\boldsymbol{p}^{\left( \boldsymbol{k} \right)}$上的一个点$\boldsymbol{x}^{\left( \boldsymbol{k} \right)}$，找到$\boldsymbol{\alpha }^{\left( \boldsymbol{k} \right)}>0$使得对于$\boldsymbol{\alpha }=\boldsymbol{\alpha }^{\left( \boldsymbol{k} \right)}$，沿着射线$\boldsymbol{x}^{\left( \boldsymbol{k} \right)}+\boldsymbol{\alpha p}^{\left( \boldsymbol{k} \right)}$函数$\boldsymbol{f}$最小化，即
   $\boldsymbol{\alpha }^{\left( \boldsymbol{k} \right)}=\boldsymbol{arg}\underset{\boldsymbol{\alpha }>0}{\min}\left\{ \boldsymbol{f}\left( \boldsymbol{x}^{\left( \boldsymbol{k} \right)}+\boldsymbol{\alpha p}^{\left( \boldsymbol{k} \right)} \right) \right\}$
2. 搜索方向问题：给定一个函数$\boldsymbol{f}\left( \boldsymbol{x} \right)$ 和点$\boldsymbol{x}^{\left( \boldsymbol{k} \right)}$，在迭代$\boldsymbol{k}$处，找到一个单位矢量$\boldsymbol{p}^{\left( \boldsymbol{k} \right)}$，使得$\boldsymbol{f}\left( \boldsymbol{x}^{\left( \boldsymbol{k} \right)}+\boldsymbol{\alpha p}^{\left( \boldsymbol{k} \right)} \right)$ 对于$0<\boldsymbol{\alpha }<\boldsymbol{\alpha }_{\max}$是递减函数。 即$\boldsymbol{p}^{\left( \boldsymbol{k} \right)}$是下降方向。

数值优化方法的不同之处在于确定搜索方向以及对梯度矢量和黑森矩阵进行近似和（或）更新的方法。

线搜索算法

线搜索算法有两种：精确线搜索和不精确线搜索算法。 精确线搜索算法会寻找精确步长$\boldsymbol{\alpha }\left( \boldsymbol{\alpha }=\boldsymbol{\alpha }_{\boldsymbol{Exact}} \right)$

$\boldsymbol{\alpha }_{\boldsymbol{Exact}}=\boldsymbol{arg}\underset{\boldsymbol{\alpha }>0}{\min}\left\{ \boldsymbol{f}\left( \boldsymbol{x}^{\left( \boldsymbol{k} \right)}+\boldsymbol{\alpha p}^{\left( \boldsymbol{k} \right)} \right) \right\}$

在数字上不切实际。 不精确的线搜索算法寻找与精确步长$\boldsymbol{\alpha }_{\boldsymbol{Exact}}$近似的值。 从初始猜测$\boldsymbol{\alpha }^0$开始，逐步构建步长序列$\boldsymbol{\alpha }^0,\boldsymbol{\alpha }^1,\boldsymbol{\alpha }^2,\cdots ,\boldsymbol{\alpha }^{\boldsymbol{k}}$的序列，以使$\boldsymbol{\alpha }^{\boldsymbol{k}}\approx \boldsymbol{\alpha }_{\boldsymbol{Exact}}$迭代地完成。

最著名的不精确线搜索算法是回溯线搜索算法，该算法使用两个参数$\boldsymbol{a}$和$\boldsymbol{b}$并基于Armijo条件：

$\boldsymbol{f}\left( \boldsymbol{x}^{\left( \boldsymbol{k} \right)}+\boldsymbol{\alpha }^{\boldsymbol{k}}\boldsymbol{p}^{\left( \boldsymbol{k} \right)} \right) <\boldsymbol{f}\left( \boldsymbol{x} \right) +\boldsymbol{a\alpha }^{\boldsymbol{k}}\boldsymbol{g}\left( \boldsymbol{x}^{\left( \boldsymbol{k} \right)} \right) ^{\boldsymbol{T}}\boldsymbol{p}^{\left( \boldsymbol{k} \right)}$

参数$\boldsymbol{a}$与Armijo的终止条件相关。 参数$0<\boldsymbol{b}<1$用于在每次迭代中更新步长，其中$\boldsymbol{\alpha }^{\boldsymbol{j}}=\boldsymbol{b\alpha }^{\boldsymbol{j}-1}$，从大步长$\boldsymbol{\alpha }^0$（通常= 1）开始。

MATLAB函数LineSearch.m接收一个函数$\boldsymbol{f}$，代表起始向量$\boldsymbol{x}$的$\boldsymbol{f}$梯度的向量$\boldsymbol{g}$和单位（方向）向量$\boldsymbol{p}$并返回最佳步长$\boldsymbol{\alpha }$：

function alpha = LineSearch(f, g, x, p)
 a = 0.3 ; b = 0.9 ;
 alpha = 1.0 ;
 while f(x+alpha*p) > f(x) + a*alpha*g(x)'*p
 alpha = b*alpha ;
 end
 end

函数LineSearch.py的Python代码是：

import numpy as np
 def LineSearch(f, g, x, p):
 a, b = 0.3, 0.9
 alpha = 1.0
 while f(x+alpha*p) > f(x) + a*alpha*np.dot(g(x), p):
 alpha *= b
 return alpha

最陡下降法

牛顿法

拟牛顿法

用MATLAB解决无约束的优化问题

用Gekko解决无约束的优化问题

解决约束的优化问题

MATLAB fmincon函数解决约束优化问题

Python解决约束最小化问题

Gekko Python解决约束优化

详情参阅 - 亚图跨际