人工智能数学基础之高等数学

引言

不懂数学是学不好人工智能的，本系列文章就汇总了人工智能所需的数学知识。本文是高等数学篇。

另有线代篇和概率论篇。

• ​​人工智能数学基础之概率论​​
• ​​人工智能数学基础之线性代数(持续更新)​​

函数与极限

函数

$y = f(x)$

函数极限

$\lim\limits_{x \to x_0} f(x) = A$ 当$x$无限接近于$x_0$时，$f(x)$无限接近于常数A。

$x$趋于$x_0$有三种写法：

$\begin{cases} x \rightarrow x_0\\ x \rightarrow x_0^+\\ x \rightarrow x_0^- \end{cases}$

第一种是$x$无限趋近于$x_0$，解释是它们相差的绝对值是无穷小的；
第二种是从大于$x_0$的方向趋近(从右侧)；
第二种是从小于$x_0$的方向趋近(从左侧)；

$x \rightarrow \infty$也有三种写法：

$\begin{cases} x \rightarrow \infty\\ x \rightarrow +\infty\\ x \rightarrow -\infty \end{cases}$

第一种表示$|x|$是无穷大的，同样也可能是正数或负数；
第二种表示趋向于正无穷大；
第三种表示趋向于负无穷大；

函数极限的定义：

如果$\forall \epsilon > 0$(对于任意的$\epsilon$大于0),$\exist \delta > 0$(存在$\delta$大于0),当$0 < | x - x_0| < \delta$时，总有$|f(x) - A| < \epsilon$，则称$\lim\limits_{x \to x_0} f(x) = A$

我们可以通过图形来理解极限，如上图，该函数的极限为0($x \rightarrow -\infty$ 和$x \rightarrow +\infty$ ,都趋向于0，因此说$x \rightarrow \infty$

该图形对应的代码为:

import numpy as np
import matplotlib.pyplot as plt

fig = plt.figure()
x = np.linspace(-100, 100, 100)
y = 1/x

ax = fig.add_subplot(111)
ax.plot(x, y)
ax.spines['left'].set_position('zero')
ax.spines['right'].set_color('none')
ax.spines['bottom'].set_position('zero')
ax.spines['top'].set_color('none')

# remove the ticks from the top and right edges
ax.xaxis.set_ticks_position('bottom')
ax.yaxis.set_ticks_position('left')

plt.axhline(0,color = 'red',linestyle = '--',alpha = 0.5)

plt.show()

无穷小与无穷大

无穷小

极限为零的变量称为无穷小。

若有$f(x)$,当$x \rightarrow x_0$(或$x \rightarrow \infty$) 极限为零，则称$f(x)$为$x \rightarrow x_0$(或$x \rightarrow \infty$) 时的无穷小。

例如 $\lim\limits_{x \to 0} \sin x = 0$，函数$\sin x$是当$x \rightarrow 0$时的无穷小。

import numpy as np
import matplotlib.pyplot as plt

fig = plt.figure()
x = np.linspace(-np.pi, np.pi, 100)
y = np.sin(x)

ax = fig.add_subplot(111)
ax.plot(x, y)
ax.spines['left'].set_position('zero')
ax.spines['right'].set_color('none')
ax.spines['bottom'].set_position('zero')
ax.spines['top'].set_color('none')

# remove the ticks from the top and right edges
ax.xaxis.set_ticks_position('bottom')
ax.yaxis.set_ticks_position('left')

#plt.axhline(0,color = 'red',linestyle = '--',alpha = 0.5)

plt.show()

无穷大

若有$f(x)$,当$x \rightarrow x_0$(或$x \rightarrow \infty$) $f(x)$无限增大，则称$f(x)$为$x \rightarrow x_0$(或$x \rightarrow \infty$) 时的无穷大。

记作$\lim\limits_{x \to x_0} f(x) = \infty$ 或$\lim\limits_{x \to \infty} f(x) = \infty$

无穷大和无穷小都是有条件的，即趋于某一点或无穷大时。

同样是$y = \frac{1}{x}$这个函数，当$x \rightarrow 0$时(从两个方向)，$y$都是无限增大的。

极限的四则运算

设$\lim f(x) =A$,$\lim g(x) = B$，则

1. $\lim [f(x) \pm g(x)] = A \pm B$
2. $\lim [f(x) \cdot g(x)] = A \cdot B$
3. $\lim \frac{f(x)}{g(x)} = \frac{A}{B}$，其中$B$不等于$0$

• 两个无穷小的和是无穷小
• 有界函数和无穷小的乘积是无穷小

常见函数的极限

1.求 $\lim\limits_{x \to 1} \frac{x^2-1}{x-1}$

$\lim\limits_{x \to 1} \frac{x^2-1}{x-1} = \lim\limits_{x \to 1} \frac{(x+1)(x-1)}{x-1} = \lim\limits_{x \to 1} (x+1) = 2$
由于分母的极限为0，不能用法则3，但是可以约分，因此先约分再求极限。
2.$\lim\limits_{x \to \infty} \frac{1}{x} = 0$
3.$\lim\limits_{x \to 0} \frac{\sin x}{x}=1$
4.$\lim\limits_{x \to \infty} (1+ \frac{1}{x})^x=e$ 或 $\lim\limits_{x \to 0} (1+ x)^{\frac{1}{x}}=e$

函数连续

设函数$y=f(x)$,在$x_0$的邻域内有定义，若$\lim\limits_{x \to x_0} f(x) = f(x_0)$，则称$f(x)$在点$x_0$处连续。

上图左边的函数是连续的，而右边的函数不是连续的。

举例

$讨论 f(x) = \begin{cases} x + 2, x \geq 0\\ x - 2, x < 0 \end{cases} 在 x = 0处的连续性$

解：
函数在$x = 0$处有定义，
$\lim\limits_{x \to 0^+} f(x) = \lim\limits_{x \to 0^+} (x+2)$ = 2
≠
$\lim\limits_{x \to 0^-} f(x) = \lim\limits_{x \to 0^-} (x-2)$ = -2
因此极限不存在，该函数在0处不连续。

连续函数的和差积商也是连续的；连续函数的符合函数是连续的；基本初等函数在其定义域内都连续。

导数

设$y = f(x)$, $x_0 \rightarrow x_0 + \Delta x$,则$\Delta y = f(x_0 + \Delta x) - f(x_0)$,

若$\lim\limits_{\Delta x \to 0} \frac{\Delta y}{\Delta x}$ 存在，则称$y = f(x)$在点$x_0$处可导。

在$x_0$处的导数值，简称为导数，记作 $f ^\prime (x_0) = \lim\limits_{\Delta x \to 0} \frac{\Delta y}{\Delta x} = \lim\limits_{\Delta x \to 0} \frac{f(x_0 + \Delta x) - f(x_0)}{\Delta x}$

导数的理解：

1. 指的是该点的变化率，可能是变大（导数为正），也可能变小（导数为负）
2. 从几何意义上，是该点切线的斜率

怎么理解导数是变化率：

1. 就是如果自变量x继续增加，因变量y的变化。
2. 如果导数大于0，则y变大；如果导数小于0，则y变小。
3. 自变量x沿着导数地方向变化，就是沿着因变量y增加的方向变化

可导和连续

先来看一下连续和可导的几何意义

连续就是不间断,$x_0$点左极限等于右极限等于$f(x_0)$的值；如果自变量增量趋于0时,因变量增量不趋于0,那么也就是说 $f(x) - \lim f(x_0) (x \rightarrow x_0)$不等于0,那么也就是说在$x_0$点左极限或者右极限不等于$f(x_0)$那么这种情况只能是间断的,所以自变量趋于0时,因变量一定也要趋于0时,才连续。

连续几何上看就是函数的图形不间断；可导的几何意义是曲线在该点处有斜率且斜率存在。

那么可导和连续的关系，我们可以通过一个图形来理解：

由于在$x_2$和$x_4$处是断开的，不连续，无法做出切线，就没有切线的斜率一说了，因此不可导。

在$x_3$chu处是连续的，但是图形在$x_3$处不光滑，没有办法做出唯一的切线，因此该点是不可导的。

$x_5$处斜率不存在，不可导。

光滑函数：曲线不尖锐,必光滑。连续光滑的曲线，必然处处有切线，这点是必然的，没有切线(或没有唯一的切线)的地方，就不光滑。

由上可知，不连续一定不可导；可导则必然连续；连续不一定可导。

最后以一个图片作为总结：

导数的四则运算

设函数$u = u(x)$和$v = v(x)$在点$x$处可导，则其和、差、积、商在$x$处也可导，有以下法则和推论：

1. $(u \pm v)^\prime = u^\prime \pm v^\prime$
2. $(uv)^\prime = u^\prime v + uv^\prime$
3. $(\frac{u}{v})^\prime = \frac{u^\prime v - uv^\prime}{v^2}$($v$

推论：

1. $(Cu)^\prime = Cu^\prime$($C$个$u\prime$相加)
2. $(uvw)^\prime = u^\prime vw + uv^\prime w + uvw^\prime$

我们来利用这些法则求导$(\tan x) ^\prime$

$(\tan x)^\prime = \Big( \frac{\sin x}{\cos x} \Big)^\prime = \frac{(\sin x)^\prime \cos x - \sin x (\cos x)^\prime}{\cos ^2 x}$
$\quad\quad\quad = \frac{\cos ^2 x + \sin ^2 x}{\cos ^2 x} = \frac{1}{\cos^2 x} = \sec^2 x$

复合函数求导法

设函数$y = f(u),u = \varphi (x)$均可导，则复合函数$y = f(\varphi (x))$的导数

$\frac{dy}{dx} = \lim\limits_{\Delta x \to 0} \frac{\Delta y}{\Delta x} = \lim\limits_{\Delta x \to 0} \frac{\Delta y}{\Delta u} \cdot \frac{\Delta u}{\Delta x}$

由$y = f(x)$ 可导，则$f(x)$连续，则有 $\lim\limits_{\Delta x \to 0} \Delta y = 0$ ，可推出 $\lim\limits_{\Delta x \to 0} \Delta u= 0$

那么$\Delta x \rightarrow 0$ 和$\Delta u \rightarrow 0$是等效的，上式有：

$\frac{dy}{dx} = \lim\limits_{\Delta x \to 0} \frac{\Delta y}{\Delta x} = \lim\limits_{\Delta x \to 0} \frac{\Delta y}{\Delta u} \cdot \frac{\Delta u}{\Delta x} = \lim\limits_{\Delta u \to 0} \frac{\Delta y}{\Delta u} \cdot \lim\limits_{\Delta x \to 0} \frac{\Delta u}{\Delta x} = \frac{dy}{du} \cdot \frac{du}{dx}$

由上可得复合函数求导法则：

设函数$y = f(u),u = \varphi (x)$均可导，则复合函数$y = f(\varphi (x))$也可导，且$\frac{dy}{dx} = \frac{dy}{du} \cdot \frac{du}{dx}$ 或写成 $y^\prime _x = y^\prime _u \cdot u^\prime _x$

高阶导数

定义：如果函数$f(x)$的导数$f ^\prime (x)$在$x$点处可导，则称$(f ^\prime (x))^\prime$为函数$f(x)$在$x$处的二阶导数，记为：$y {^\prime}{^\prime},f {^\prime}{^\prime}(x),\frac{d^2y}{dx^2}$。

同理，二阶导数的导数称为函数$f(x)$的三阶导数，记为：$y {^\prime}{^\prime}{^\prime},f {^\prime}{^\prime}{^\prime}(x),\frac{d^3y}{dx^3}$。

$n-1$阶导数的导数称为函数$f(x)$的$n$阶导数，记作：$y^{(n)},f^{(n)}(x),\frac{d^ny}{dx^n}$。

二阶及二阶以上的导数称为高阶导数。

记法说明：

• $\frac{d^2y}{dx^2} = \frac{d}{dx}(\frac{dy}{dx})$
• $y{^\prime}{^\prime},y{^\prime}{^\prime}{^\prime},y^{(4)},...,y^{(n)}$

偏导数

要学习偏导数，先要了解二元函数的概念

二元函数

所谓二元函数，即因变量有两个的函数。例如圆柱体体积计算公式为 $V = \pi r^2h,\{(r,h)|r > 0, h > 0\}$
相应的，n元函数就是有n个因变量的函数。

偏导数的概念

设函数$z = f(x,y)$在点$(x_0,y_0)$的某一邻域内有定义，当$y$固定在$y_0$而$x$在$x_0$处有增量$\Delta x$时，相应地函数有偏增量

$\Delta_x z = f(x_0 + \Delta x,y_0) - f(x_0,y_0)$,

如果$\lim\limits_{\Delta x \to 0} \frac{ f(x_0 + \Delta x,y_0) - f(x_0,y_0)}{\Delta x}$存在，则称此极限为函数$z = f(x,y)$在点$(x_0,y_0)$处对$x$的偏导数，

记为

即 $\left.z_x\right|_{y = y_0}^{x = x_0} = \lim\limits_{\Delta x \to 0} \frac{ f(x_0 + \Delta x,y_0) - f(x_0,y_0)}{\Delta x}$

对$y$的偏导数同理。

要注意的是， 函数在一点处偏导存在，则函数在这点不一定连续

偏导数的几何意义

练习一下，我们来求$z = x^2 + 3xy + y^2$

解 $\frac{\partial z}{\partial x} = 2x + 3y$,$\frac{\partial z}{\partial y} = 3x + 2y$
$\frac{\partial z}{\partial x} = 2 \cdot 1 + 3\cdot 2 = 8$
$\frac{\partial z}{\partial y} = 3 \cdot 1 + 2\cdot 2 = 7$

注意，求偏导的时候，把其他因变量看成常量

微分

对于函数$y = f(x),x \rightarrow x +\Delta x$,
因变量增量为$\Delta y = f(x + \Delta x) - f(x)$

导数(变化率)有 $f^\prime (x) = \lim\limits_{\Delta x \to 0} \frac{\Delta y}{\Delta x} \Longrightarrow \Delta x \rightarrow 0,\frac{\Delta y}{\Delta x} \rightarrow f^\prime (x) \Longrightarrow |\Delta x|$充分小时,$\frac{\Delta y}{\Delta x} \approx f^\prime (x)$
也就是说,$|\Delta x|$充分小时,$\Delta y \approx f^\prime (x) \Delta x$

我们称$f^\prime (x) \Delta x$为函数的微分，记为$dy = f^\prime (x) \Delta x$

微分的意义是因变量增量的近似值(函数变化的程度)

当$|\Delta x|$充分小时，$\Delta y \approx dy$

微分 $dy = f^\prime (x) \Delta x$，$dx = (x)^\prime \cdot \Delta x = \Delta x$
因此，微分也可以表示为 $dy = f^\prime (x) dx$
将两边同除$dx$得：
$dy = f^\prime (x) dx \Longleftrightarrow \frac{dy}{dx} = f^\prime(x)$
导数从微分的角度看可以表示成因变量的微分比上自变量的微分，所以导数还有个别名叫微商。

由此也可以看出可微和可导是等价的，因此求微分时可以先求导数，再改写为微分。

中值定理

罗尔定理

如果函数$y = f(x)$满足条件

1. 在[a,b]上连续；
2. 在(a,b)内可导；
3. $f(a) = f(b)$；

则那么至少存在一点$\xi (a < \xi < b)$，使得 $f^\prime (\xi) = 0$

(找不到高清图，只有这种了，$c$就是$\xi$)

几何意义：如果连续曲线除端点外处处具有不垂直于x轴的切线，且两个端点处的纵坐标相等，那么其上至少有一点处的切线平行于x轴。

其应用是判断方程根的存在性。

拉格朗日中值定理

该定理反反映了可导函数在闭区间上整体的平均变化率与区间内某点的局部变化率的关系。

从这个函数图形来看，是不是很像罗尔定理的图形旋转了一下。并且可以看出，$c$点处的切线虽然不再平行于x轴，但是平行于AB两点的连线。即它们的斜率是相等的，有：

$f^\prime (\xi) = k_{AB} = \frac{f(b) - f(a)}{b -a}$

得到拉格朗日中值定理：
如果函数$y = f(x)$满足条件

1. 在[a,b]上连续；
2. 在(a,b)内可导；

则那么至少存在一点$\xi (a < \xi < b)$，使得
$f^\prime (\xi) = \frac{f(b) - f(a)}{b -a}$ 或 $f(b) - f(a) = f^\prime (\xi) (b - a)$

几何意义：如果连续曲线除端点外处处具有不垂直于ox轴的切线，那么其上至少有这样一点存在，在该点处曲线的切线平行于连接两端点的直线，即两者斜率相同。

我们来应用一下吧，用拉格朗日中值定理证明，当$x > 0$时，$\frac{x}{1+x} < \ln(1+x) < x$

证明 构造辅助函数$f(t) = \ln(1+t)$
$f(t)$在[0,x]上满足朗格朗日中值定理的条件，那么根据定理，存在点$\xi(0 < \xi <x)$，满足
$f(x) - f(0) = f^\prime(\xi)(x - 0)$ ①
由于 $f(x) = \ln(1 + x)$,$f(0) = 0$
$f^\prime(t) = \frac{1}{1+t}$

因此，①式可化为 $\ln(1+x) - 0 = \frac{x}{1 + \xi}$
又因为 $(0 < \xi <x)$
$\frac{x}{1+x} < \frac{x}{1+ \xi} < \frac{x}{1+0}$ (分母越大，分数值越小)
即 $\frac{x}{1+x} < \ln(1+x) < x$

柯西中值定理

是拉格朗日中值定理的推广

在拉格朗日中值定理中，若函数由参数方程:

$\begin{cases} X = F(x)\\ Y = f(x) \end{cases} (a \leq x \leq b,x为参数)$

表示，如图所示

则连接两个端点A，B的直线斜率为

$\frac{f(b) - f(a)}{F(b) - F(a)}$

而曲线在点$P(x=\xi)$处的切线T斜率为

$\frac{dY}{dX} = \frac{f^\prime(\xi)}{F^\prime(\xi)}$

则由曲线在点P的切线T与直线L平行可知：

$\frac{f(b) - f(a)}{F(b) - F(a)} = \frac{f^\prime(\xi)}{F^\prime(\xi)}$

得到柯西中值定理：
如果函数$f(x)$和$F(x)$满足

1. 在[a,b]上连续；
2. 在(a,b)内可导，且$F^\prime(x)$≠$0$;

则至少存在一点$\xi(a < \xi < b)$，使得

$\frac{f(b) - f(a)}{F(b) - F(a)} = \frac{f^\prime(\xi)}{F^\prime(\xi)}$

几何意义：曲线弧AB上至少有一点$P(F(\xi),f(\xi))$，在该点处的切线平行于弦AB.

洛必达法则

设函数$f(x)$，$g(x)$满足：

1. $\lim\limits_{\Delta x \to a} f(x) = \lim\limits_{\Delta x \to a} g(x) = 0 (或\infty)$; (极限无穷小或无穷大)
2. 在$\mathring{U}(a)$内，$f^\prime(x)$和$g^\prime(x)$都存在，且$g^\prime(x)$≠$0$;
3. $\lim\limits_{\Delta x \to a} \frac{f^\prime(x)}{g^\prime(x)} = A(A可为实数，也可以是\infty)$,(求导之后的极限存在)

则
$\lim\limits_{\Delta x \to a} \frac{f(x)}{g(x)} =\lim\limits_{\Delta x \to a} \frac{f^\prime(x)}{g^\prime(x)} = A$

我们称$\frac{0}{0}$、$\frac{\infty}{\infty}$为未定式，而洛必达法则可用于求这种未定式的极限。

泰勒展开式

推荐看这篇文章​​怎样更好地理解并记忆泰勒展开式？​​

如果两个连续的曲线想要相同，那么它们在某一点的一阶导数要相同，二阶导数也要相同，…，n阶导数也要相同，这是泰勒展开的核心思想。(曲线的变化率的变化率的变化率…都相同)

假设给定函数$f(x) = e^x$,我们想用一个多项式函数$g(x)$去拟合它。
因为$f(x)$能无限求导 $(e^x)^\prime = e^x$，所以我们的拟合函数也要能无限求导，
所以必须要是一个无限多项的多项式：

$g(x) = a_0 + a_1x + a_2x^2 + ... + a_nx^n$

假设$f(x) = g(x)$，我们取$x=0$点，
$f(0)=g(0) = e^0 = 1$ 得到 $a_0 = 1$
$f^\prime(0) = g^\prime(0) = 1$
$f^{\prime\prime}(0) = g^{\prime\prime}(0) = 1$
…
$f^n(0) = g^n(0)$

我们再来看$g^n(0)$，它的n阶导数是和它的最高项n有关，前面的小于n项的n阶导数都会变为0。

而$(a_nx^n)$的n阶导数为:$n!a_n$

也就是$g^n(0) = n!a_n$得到$a_n = \frac{f^n(0)}{n!}$

我们将$a_n$带入 ①式：
$g(x) = f(0) + \frac{f^\prime(0)}{1!}x + \frac{f^{\prime\prime}(0)}{2!}x^2 + \frac{f^3(0)}{3!}x^3 + ... + \frac{f^n(0)}{n!}x^n$

以上是选取$x=0$点时的泰勒展开，一般的，我们选取$x=a$点的泰勒展开即为：
$g(x) = f(a) + \frac{f^\prime(a)}{1!}(x-a) + \frac{f^{\prime\prime}(a)}{2!}(x-a)^2 + \frac{f^3(a)}{3!}(x-a)^3 + ... + \frac{f^n(a)}{n!}(x-a)^n$

如何理解$x$变成了$x-a$了呢？从$0$点改到$a$点，相当于函数图像向右平移$a$个单位，即变成了$x-a$

得到泰勒展开式为：

如果想要等式左右两边相等，光到$n$项是不够的，后面还有$n+1,n+2,...$无穷多项，

$n$后的无穷多项通过$R_n(x)$来表示。

不定积分

原函数：在区间$I$上函数$F(x)$可导，$F^\prime(x) = f(x)$或$dF(x) = f(x)dx$，那么$F(x)$就是$f(x)$在这个区间上的一个原函数。

连续函数一定有原函数

在区间$I$上函数$f(x)$的全体原函数$F(x) + C$称为$f(x)$的不定积分，记为$\int f(x)dx = F(x) + C$

不定积分是全体原函数(常数$C$的导数为0)

$\int$积分号,$f(x)$被积函数，$f(x)dx$被积表达式，$x$积分变量

微分运算与不定积分运算互为逆运算。

不定积分的性质：

1. $\int [f(x) \pm g(x)]dx = \int f(x)dx \pm \int g(x)dx$
2. $\int kf(x)dx = k\int f(x)dx$($k$为常数，且不为零)

定积分

定义：$\int ^a_b f(x)dx = \lim\limits_{\lambda \to 0} \sum_{i=1}^nf(\xi_i)\Delta x_i$

几何意义：曲边图形的面积$S=\int ^a_b f(x)dx$

当$f(x) \geq 0$时，积分$\int ^a_b f(x)dx$在集合上表示由$y=f(x)$、$x=a$、$x=b$及$x$轴所围成的曲边梯形的面积；
当$f(x) \leq 0$时，由$y=f(x)$、$x=a$、$x=b$及$x$轴所围成的曲边梯形位于$x$轴下方，积分$\int ^a_b f(x)dx$在几何上表示上述曲边梯形面积的负值；

如果$f(x)$是$[a,b]$上的连续函数，并且有$F^′(x)=f(x)$，那么
$\int ^a_b f(x)dx = F(b) - F(a)$

也就是说，一个定积分式的值，就是原函数在上限的值与原函数在下限的值的差。

函数单调性与极值

函数单调性

设函数$y=f(x)$在$(a,b)$内可导，对$\forall x \in (a,b)$

1. 若$f^\prime(x) > 0 \Longrightarrow f(x)$在$(a,b)$内单调递增；
2. 若$f^\prime(x) < 0 \Longrightarrow f(x)$在$(a,b)$内单调递减；

我们来证明第一条：
已知$f^\prime(x) > 0，x \in (a,b)$
取$\forall x_1,x_2 \in (a,b)$,设$x_1 < x_2$,
由拉格朗日中值定理可知，存在$\xi \in (a,b)$，使得 $f(x_2) - f(x_1) = f^\prime(\xi) (x_2 - x_1)$
由已知$f^\prime(x) > 0,x_2 - x_1 > 0$
可得 $f(x_2) > f(x_1)$
由$x_1,x_2$的任意性，所以$f(x)$在$(a,b)$内单调递增

函数极值

设函数$y=f(x)$在$x_0$的某一邻域$U(x_0)$内有定义，对于$\forall x \in U(x_0)$，且$x$ ≠ $x_0$，均有

1. $f(x) < f(x_0)$,称$f(x_0)$为极大值，$x_0$为极大值点
2. $f(x) > f(x_0)$,称$f(x_0)$为极小值，$x_0$为极小值点

极大值和极小值统称为极值；极大值点和极小值点统称为极值点。

要注意是：

1. 极值是局部性概念
2. 可以有多个极大值或极小值
3. 端点不是极值点(极值只在区间内部取得)

极值点处若$f^\prime(x) = 0$，这样的点称为驻点，若导数不存在，则称为尖点

我们可以注意到，极值点两侧单调性不同，也就是导数符号不同，
根据这点，我们可以得到极值判定第一充分条件：

极值判定(极值判定第一充分条件)：
若函数$f(x)$可导，$f^\prime(x) = 0$ ，且 $\exists \sigma > 0$，$\forall x \in (x_0 - \sigma , x_0)$ 有 $f^\prime(x) > 0$(或 $f^\prime(x) < 0$）同时， $\forall x \in (x_0 , x_0 + \sigma )$ 有 $f^\prime(x) < 0$(或 $f^\prime(x) > 0$ ），则$x_0$ 是函数$f(x)$

我们看上图，大概$x$取-3点处的函数值是极大值，该点出的切线斜率(导数)为0，左则切线斜率大于0，右侧切线斜率小于0。

也就是说，一阶导数在单调递减，因此二阶导数小于0。得出极值判定第二充分条件：

极值判定(极值判定第二充分条件)：
设函数$f(x)$在$U(x_0)$内二阶可导，且$f^\prime(x) = 0$

1. 若$f^{\prime\prime}(x) < 0 \Longrightarrow f(x_0)$是极大值；
2. 若$f^{\prime\prime}(x) > 0 \Longrightarrow f(x_0)$是极小值；
3. 若$f^{\prime\prime}(x) = 0$，无法判定

曲线的凹凸与拐点

凹凸

设函数$f(x)$在$(a,b)$内可导：

1. 若曲线$f(x)$上任一点切线位于曲线的下方，则称曲线在$(a,b)$内是凹的，区间$(a,b)$称为凹区间；
2. 若曲线$f(x)$上任一点切线位于曲线的上方，则称曲线在$(a,b)$内是凸的，区间$(a,b)$称为凸区间；

但是这是在给定了函数图像的情况下，若没有函数图像，我们该如何通过函数表达式来判断呢？

我们在曲线上去取三个点$x_1,x_2,x_3$，过这三个点做切线，这些曲线与$x$轴的夹角依次为$\alpha_1,\alpha_2,\alpha_3$

可以看到，导函数$f^\prime(x)$是单调递增的，也就是$f^{\prime\prime}(x) \geq 0$

同理，凸函数的二阶导数$f^{\prime\prime}(x) \leq 0$

函数的凹凸性判断
如果函数$f(x)$在$(a,b)$具有二阶导数$f^{\prime\prime}(x)$：

1. 若在$(a,b)$内$f^{\prime\prime}(x) > 0$，则$f(x)$在$(a,b)$内是凹的；
2. 若在$(a,b)$内$f^{\prime\prime}(x) < 0$，则$f(x)$在$(a,b)$内是凸的；

拐点

定义：连续曲线上凹弧与凸弧的分界点称为曲线的拐点。

历经一个月，这篇文章终于更新完了，高数知识暂时告一段落了，后面的学习过程中如果碰到了相关知识会在本文中补充
在人工智能中，向量、矩阵也很重要。这些知识点尽在​​​线性代数​​中