机器学习求变分问题 变分求法

文章目录

• 1. 回顾：微分的定义
• 2. 泛函和变分概念简介

• 2.1 泛函概念简介
• 2.2 变分概念简介

• 3. 变分的运算法则简介
• 4. 变分法详述

• 4.1 历史
• 4.2 极值

• 5. 变分的运算法则详述

• 5.1 定义

• 5.1.1 泛函导数
• 5.1.2 泛函微分

• 5.2 性质
• 5.3 泛函导数的确定

• 5.3.1 公式
• 5.3.2 例子

• 5.3.2.1 Thomas-Fermi kinetic energy functional
• 5.3.2.2 Coulomb potential energy functional
• 5.3.2.3 Weizsäcker kinetic energy functional
• 5.3.2.4 熵
• 5.3.2.5 指数泛函
• 5.3.2.6 函数的泛函导数
• 5.3.2.7 迭代函数的泛函导数

• 5.4 使用 delta 函数作为测试函数

• 6. Euler-Lagrange equation

• 6.1 简介
• 6.2 历史
• 6.3 详细内容
• 6.4 推导过程
• 6.5 另一种推导方法

---

1. 回顾：微分的定义

在介绍变分之前，首先回顾微分的定义：

当自变量 $x\rightarrow x+\mathrm{d}x$ 时，相应的因变量 $y\rightarrow y+\mathrm{d}y$。

则此时 $\mathrm{d}y$ 就是函数 $y(x)$

2. 泛函和变分概念简介

2.1 泛函概念简介

泛函为函数的函数，

2.2 变分概念简介

通过上面的介绍，那么问题来了，如何用同样的思路去研究泛函的变化？通过类比推广，$x$

那么函数的变形如何理解呢？如下图：

我们可以把原先的函数作一点点形变，即可以在原先的函数上加上一个任意函数 $\eta(x)$，然后在任意函数的前面乘上非常小或者足够小的系数 $m$，此时我们就可以把 $y=x^{2}$（仅举例，可以推广）和新函数 $y+\mathtt{\delta} y=x^{2}+m\eta(x)$ 的差导致的泛函 $J$ 的变化 $J_{2}-J_{1}=\delta J$ 就是泛函 $J$

这个泛函的变分的线性化表示是整个变分中最重要的一步！同理，在微积分中，使用线性化的思想处理问题也是处理所有其他问题的前提！

下面是泛函变分的示意图：

3. 变分的运算法则简介

变分和微分的运算法则在很多情况下都是相同的，可以直接把微分的运算法则拿过来用就可以了：

• 复合函数链式法则

$\mathrm{d}y(x)=y$

• 四则运算（乘法运算）

$\mathrm{d}(AB)=B\mathrm{d}A+A\mathrm{d}B\\ \Downarrow\\ \delta (AB)=B\delta A+A\delta B\\$

• 全微分

$\mathrm{d} Z=\frac{\partial Z}{\partial x}\mathrm{d} x+\frac{\partial Z}{\partial y}\mathrm{d} y\\ \Downarrow\\ \delta Z=\frac{\partial Z}{\partial x}\delta x+\frac{\partial Z}{\partial y}\delta y$

• 假设下图方框里有一串表达式，然后乘上$\delta y$等于0，由于$\delta y$可以随意变动，则只能使得方框里的表达式为0；

• 变分运算符号可以与积分运算、微分运算、偏导数符号调换位置。

4. 变分法详述

变分微积分，或变分法（Calculus of Variations or variational method）是一个数学分析领域，它使用变分（函数和泛函的微小变化）来找到泛函的最大值和最小值：从一组函数到实数的映射。泛函通常表示为涉及函数及其导数的定积分。使用变分法的欧拉-拉格朗日方程可以找到最大化或最小化泛函的函数。

变分法是 17 世纪末发展起来的一门数学分支，是处理泛函的数学领域，和处理数的函数的普通微积分相对。它最终寻求的是极值函数：它们使得泛函取得极大或极小值。变分法起源于一些具体的物理学问题，最终由数学家研究解决。有些曲线上的经典问题采用这种形式表达：一个例子是最速降线，在重力作用下一个粒子沿着该路径可以在最短时间从点 A 到达不直接在它底下的一点 B。在所有从 A 到 B 的曲线中，必须极小化代表下降时间的表达式。

另外还有找到连接两点的最短长度曲线。如果没有约束，则解是点之间的直线。但是，如果曲线被限制在空间表面上，那么解决方案就不太明显，并且可能存在许多解决方案。这种解决方案被称为测地线。费马原理提出了一个相关问题：光遵循连接两点的最短光程路径，这取决于介质的材料。力学中一个对应的概念是最小/静止作用原理。

4.1 历史

可以说变分法始于 1687 年牛顿的最小阻力问题，随后是约翰·伯努利 (Johann Bernoulli)（1696 年）提出的短时线问题。它立即引起了雅各布·伯努利（Jakob Bernoulli）和 Marquis de l’Hôpital 的注意，但莱昂哈德·欧拉（Leonhard Euler）从 1733 年开始首先阐述了这个主题。拉格朗日受到欧拉工作的影响，对这一理论做出了重大贡献。在欧拉看到 19 岁的拉格朗日 1755 年的作品后，欧拉放弃了他自己的部分几何方法，转而支持拉格朗日的纯分析方法，并在他 1756 年的讲座 “Elementa Calculi Variationum” 中将这个主题重新命名为变分法。

勒让德 (Legendre) (1786) 制定了一种方法，但并不完全令人满意，用于区分最大值和最小值。艾萨克·牛顿和戈特弗里德·莱布尼茨也对这个主题给予了一些早期的关注。在这其中，文森佐·布鲁纳奇 (Vincenzo Brunacci) (1810)、卡尔·弗里德里希·高斯 (Carl Friedrich Gauss) (1829)、西蒙·泊松 (Siméon Poisson) (1831)、米哈伊尔·奥斯特罗格拉茨基 (Mikhail Ostrogradsky) (1834) 和卡尔·雅可比 (Carl Jacobi) (1837) 都是贡献者。 Sarrus (1842) 的一项重要的综合性工作是由 Cauchy (1844) 浓缩和改进的。 Strauch (1849)、Jellett (1850)、Otto Hesse (1857)、Alfred Clebsch (1858) 和 Lewis Buffett Carll (1885) 撰写了其他有价值的论文和回忆录，但也许本世纪最重要的著作是维尔斯特拉斯（Weierstrass）。他著名的理论课程是划时代的，可以说他是第一个将其建立在坚实和不容置疑的基础上的人。1900 年发表的第 20 和第 23 希尔伯特问题鼓励了进一步的发展。

在 20 世纪，David Hilbert、Oskar Bolza、Gilbert Ames Bliss、Emmy Noether、Leonida Tonelli、Henri Lebesgue 和 Jacques Hadamard 等做出了重大贡献。Marston Morse 在现在所谓的 Morse 理论中应用了变分法。Lev Pontryagin、Ralph Rockafellar 和 F. H. Clarke 为最优控制理论中的变分微积分开发了新的数学工具。Richard Bellman 的动态规划是变分法的替代方法。

4.2 极值

变分法与泛函的最大值或最小值（统称为极值）有关。泛函将函数映射到标量，因此泛函被描述为“函数的函数”。泛函对于定义在给定域上的给定函数空间的元素 $y$ 具有极值。一个泛函 $J[y]$ 如果 $\Delta J=J[y]-J[f]$ 对于 $f$ 的任意小的邻域中的所有 $y$ 具有相同的符号。函数 $f$ 称为极值函数或极值。如果在 $f$ 的任意小邻域中处处 $\Delta J\leq 0$，则 $J[f]$ 被称为局部极大值，相反，如果 $\Delta J\geq 0$，则称为局部极小值。对于连续函数的函数空间，对应的泛函的极值称为强极值或弱极值，这取决于连续函数的一阶导数是否都是连续的。

泛函的强极值和弱极值都是针对连续函数空间的，但强极值还有一个额外的要求，即空间中函数的一阶导数是连续的。因此，强极值也是弱极值，但反过来可能不成立。找到强极值比找到弱极值更难。用于寻找弱极值的必要条件的一个例子是欧拉-拉格朗日方程（Euler-Lagrange equation）。

5. 变分的运算法则详述

在变分法中，泛函导数（或变分导数） 将泛函的变化与泛函所依赖的函数的变化联系起来。

在变分法中，泛函通常用函数、它们的参数和它们的导数的积分来表示。在泛函的积分 $L$ 中，如果函数 $f$ 通过添加另一个任意小的函数 $\delta f$ 来改变，并且所得被积函数以 $\delta f$ 的幂展开，则一阶项中 $\delta f$

例如，考虑泛函：

$J[f]=\int _{a}^{b}L(x,f(x),f$

其中 $f$。如果通过向其添加函数 $\delta f$ 来改变 $f$（注意此时 $x$ 相对不变），并且将得到的被积函数 $L(x,f+\delta f,f$ 以 $\delta f$ 的幂展开，则 $J$ 的值在 $\delta f$

$\begin{aligned} \delta J &=\int _{a}^{b}\left({\frac {\partial L}{\partial f}}\delta f(x)+{\frac {\partial L}{ \partial f$

其中导数的变分，$\delta f$ 被重写为变分的导数 $(\delta f)$，即：

$\begin{aligned} \delta f$

即利用了线性性质，其中第一个下标是变分对应的不同函数，第二个下标是同一函数下不同横坐标下的值。上述推导中使用了部分积分。

5.1 定义

在本节中，定义了泛函导数（functional derivative）。然后根据泛函导数定义泛函微分（functional differential）。

5.1.1 泛函导数

给定表示（连续/平滑）函数 $\rho$（具有某些边界条件等）的流形 $M$，则一个泛函 $F$

$F\colon M\to \mathbb {R} \quad {\text{or}}\quad F\colon M\to \mathbb {C}$

$F[\rho]$ 的泛函导数，表示为 $\delta F/\delta \rho$，其定义为：

$\begin{aligned} \int {\frac {\delta F}{\delta \rho }}(x)\phi (x)\;\mathrm{d}x&=\lim _{\varepsilon \to 0}{\frac {F[\rho +\varepsilon \phi ]-F[\rho ]}{\varepsilon }}\\&=\left[{\frac {\mathrm{d}}{\mathrm{d}\varepsilon }}F[\rho +\varepsilon \phi ]\right]_{\varepsilon =0} \end{aligned}$

其中 $\phi$ 是一个任意函数。$\varepsilon \phi$ 称为 $\rho$

换句话说：

$\phi \mapsto \left[{\frac {\mathrm{d}}{\mathrm{d}\varepsilon }}F[\rho +\varepsilon \phi ]\right]_{\varepsilon =0}$

是一个线性泛函，因此可以应用 Riesz–Markov–Kakutani representation theorem 将该泛函表示为针对某种度量的积分。然后 $\delta F/\delta \rho$ 被定义为该度量的 Radon-Nikodym derivative。

我们认为函数 $\delta F/\delta \rho$ 是 $F$ 在点 $\rho$ 处的梯度（即，如果函数 $\rho$ 在点 $x$ 处改变（即 $x$ 变化时，$\rho$ 在变），泛函 $F$

$\int {\frac {\delta F}{\delta \rho }}(x)\phi (x)\;\mathrm{d}x$

作为点 $\rho$ 在 $\phi$ 方向上的方向导数。类似于向量微积分，$\phi(x)$ 与梯度 $\delta F/\delta\rho$

5.1.2 泛函微分

泛函 $F\left[\rho \right]$

$\delta F[\rho ;\phi ]=\int {\frac {\delta F}{\delta \rho }}(x)\ \phi (x)\ \mathrm{d}x$

其中，$\phi$ 是 $\rho$ 的变化，所以我们“正式”有 $\phi =\delta \rho$，然后这在形式上类似于函数 $F(\rho _{1},\rho _{2},\dots ,\rho _{n})$：

$\mathrm{d}F=\sum _{i=1}^{n}{\frac {\partial F}{\partial \rho _{i}}}\ \mathrm{d}\rho _{i}$

其中 $\rho _{1},\rho _{2},\dots ,\rho _{n}$ 是自变量。比较最后两个方程，泛函导数 $\delta F/\delta \rho (x)$ 的作用类似于偏导数 $\partial F/\partial \rho _{i}$，其中积分变量 $x$ 类似于求和下标 $i$。

5.2 性质

与函数的导数一样，泛函导数满足以下性质，其中 $F[\rho]$ 和 $G[\rho]$ 是泛函（注意 $\frac{\delta F}{\delta \rho}(x)\equiv\frac{\delta F}{\delta \rho(x)}$）：

• 线性法则：

${\frac {\delta (\lambda F+\mu G)[\rho ]}{\delta \rho (x)}}=\lambda {\frac {\delta F[\rho ]}{\delta \rho (x)}}+\mu {\frac {\delta G[\rho ]}{\delta \rho (x)}}$

其中 $\lambda$，$\mu$

• 乘法法则：

${\frac {\delta (FG)[\rho ]}{\delta \rho (x)}}={\frac {\delta F[\rho ]}{\delta \rho (x)}} G[\rho ]+F[\rho ]{\frac {\delta G[\rho ]}{\delta \rho (x)}}$

• 链式法则：

1. 如果 $F$ 是一个泛函，而 $G$

${\frac {\delta F[G[\rho ]]}{\delta \rho (y)}}=\int \mathrm{d}x{\frac {\delta F[G]}{\delta G(x) }}_{G=G[\rho ]}\cdot {\frac {\delta G[\rho ](x)}{\delta \rho (y)}}$

2. 如果 $G$ 是一个普通的可微函数（局部泛函）$g$，那么这简化为：

${\frac {\delta F[g(\rho )]}{\delta \rho (y)}}={\frac {\delta F[g(\rho )]}{\delta g[\rho (y)]}}\ {\frac {\mathrm{d}g(\rho )}{\mathrm{d}\rho (y)}}$

5.3 泛函导数的确定

确定一类常见泛函的泛函导数（functional derivatives）的公式，可以写成函数及其导数的积分。这是欧拉-拉格朗日方程的推广：实际上，泛函导数是在从拉格朗日力学（18 世纪）的最小作用原理推导第二类拉格朗日方程的过程中引入的。下面的前三个例子来自密度泛函理论（20 世纪），第四个例子来自统计力学（19 世纪）。

5.3.1 公式

给定一个泛函

${\displaystyle F[\rho ]=\int f({\boldsymbol {r}},\rho ({\boldsymbol {r}}),\nabla \rho ({\boldsymbol {r}}))\,\mathrm{d} {\boldsymbol {r}}}$

和一个在积分区域边界上消失的函数 $\phi(\boldsymbol{r}$)，后者来自上一节的定义，

${\displaystyle {\begin{aligned}\int {\frac {\delta F}{\delta \rho ({\boldsymbol {r}})}}\,\phi ({\boldsymbol {r}})\,\mathrm{d}{\boldsymbol {r}}&=\left[{\frac {\mathrm{d}}{\mathrm{d}\varepsilon }}\int f({\boldsymbol {r}},\rho +\varepsilon \phi ,\nabla \rho +\varepsilon \nabla \phi )\,\mathrm{d}{\boldsymbol {r}}\right]_{\varepsilon =0}\\&=\int \left({\frac {\partial f}{\partial \rho }}\,\phi +{\frac {\partial f}{\partial \nabla \rho }}\cdot \nabla \phi \right)\mathrm{d}{\boldsymbol {r}}\\&=\int \left[{\frac {\partial f}{\partial \rho }}\,\phi +\nabla \cdot \left({\frac {\partial f}{\partial \nabla \rho }}\,\phi \right)-\left(\nabla \cdot {\frac {\partial f}{\partial \nabla \rho }}\right)\phi \right]\mathrm{d}{\boldsymbol {r}}\\&=\int \left[{\frac {\partial f}{\partial \rho }}\,\phi -\left(\nabla \cdot {\frac {\partial f}{\partial \nabla \rho }}\right)\phi \right]\mathrm{d}{\boldsymbol {r}}\\&=\int \left({\frac {\partial f}{\partial \rho }}-\nabla \cdot {\frac {\partial f}{\partial \nabla \rho }}\right)\phi ({\boldsymbol {r}})\ \mathrm{d}{\boldsymbol {r}}\,\end{aligned}}}$

第二行是使用全导数获得的，其中 $\partial f /\partial \nabla\rho$

$\frac{\partial f}{\partial\nabla\rho}=\frac{\partial f}{\partial \rho_{x}}\boldsymbol{\hat{i}}+\frac{\partial f}{\partial \rho_{y}}\boldsymbol{\hat{j}}+\frac{\partial f}{\partial \rho_{z}}\boldsymbol{\hat{k}}$

其中 $\rho_{x}=\frac{\partial\rho}{\partial x}$，$\rho_{y}=\frac{\partial\rho}{\partial y}$，$\rho_{z}=\frac{\partial\rho}{\partial z}$，$\boldsymbol{\hat{i}}$，$\boldsymbol{\hat{j}}$，$\boldsymbol{\hat{k}}$ 是沿 $x$，$y$，$z$

第三行是通过使用散度的乘积规则获得的：

${\displaystyle \nabla \cdot (\varphi \mathbf {F} )=(\nabla \varphi )\cdot \mathbf {F} +\varphi (\nabla \cdot \mathbf {F} )}$

第四行是使用散度定理（Divergence theorem）和积分区域边界上 $\phi = 0$

$\int (\nabla\cdot\mathbf{F})\mathrm{d}\boldsymbol{r}=\iiint_{V}(\nabla\cdot\mathbf{F})\mathrm{d}V=\oiint_{S}(\mathbf{F}\cdot\hat{\mathbf{n}})\mathrm{d}S$

所以：

$\int\nabla \cdot \left({\frac {\partial f}{\partial \nabla \rho }}\,\phi \right)\mathrm{d}\boldsymbol{r}=\iiint_{V}\nabla \cdot \left({\frac {\partial f}{\partial \nabla \rho }}\,\phi \right)\mathrm{d}V=\oiint_{S}{\frac {\partial f}{\partial \nabla \rho }}\,\phi \mathrm{d}\boldsymbol{S}=0$

由于 $\phi$ 也是一个任意函数，将 fundamental lemma of calculus of variations 应用于最后一行，泛函导数为

${\displaystyle {\frac {\delta F}{\delta \rho ({\boldsymbol {r}})}}={\frac {\partial f}{\partial \rho }}-\nabla \cdot {\frac {\partial f}{\partial \nabla \rho }}}$

其中 $\rho = \rho(\boldsymbol{r})$ 和 $f = f (\boldsymbol{r}, \rho, \nabla\rho)$。该公式适用于本节开头 $F[\rho]$ 给出的函数形式的情况。对于其他泛函形式，泛函导数的定义可以作为其确定的起点。（参见 Coulomb potential energy functional 示例。）

上面的泛函导数方程可以推广到包括高维和高阶导数的情况。泛函将是，

${\displaystyle F[\rho ({\boldsymbol {r}})]=\int f({\boldsymbol {r}},\rho ({\boldsymbol {r}}),\nabla \rho ({\boldsymbol {r}}),\nabla ^{(2)}\rho ({\boldsymbol {r}}),\dots ,\nabla ^{(N)}\rho ({\boldsymbol {r}}))\ \mathrm{d}{\boldsymbol {r}}}$

其中向量 $r\in \mathbf{R}^{n}$，$\nabla^{(i)}$ 是一个张量，其 $n^{i}$ 分量是 $i$

${\displaystyle \left[\nabla ^{ (i)}\right]_{\alpha _{1}\alpha _{2}\cdots \alpha _{i}}={\frac {\partial ^{\,i}}{\partial r_{\alpha _{1}}\partial r_{\alpha _{2}}\cdots \partial r_{\alpha _{i}}}}\qquad \qquad {\text{where}}\quad \alpha _{1 },\alpha _{2},\cdots ,\alpha _{i}=1,2,\cdots ,n\ .}$

比如，对于三维（$n=3$），二阶导数（$i=2$），张量 $\nabla^{2}$

${\displaystyle \left[\nabla ^{(2)}\right]_{\alpha \beta }={\frac {\partial ^{\,2}}{\partial r_{\alpha }\,\partial r_{\beta }}}\qquad \qquad {\text{where}}\quad \alpha ,\beta =1,2,3\,}$

泛函导数定义的类似应用

${\displaystyle {\begin{aligned}{\frac {\delta F[\rho ]}{\delta \rho }}&{}={\frac {\partial f}{\partial \rho }}-\nabla \cdot {\frac {\partial f}{\partial (\nabla \rho )}}+\nabla ^{(2)}\cdot {\frac {\partial f}{\partial \left(\nabla ^{(2)}\rho \right)}}+\dots +(-1)^{N}\nabla ^{(N)}\cdot {\frac {\partial f}{\partial \left(\nabla ^{(N)}\rho \right)}}\\&{}={\frac {\partial f}{\partial \rho }}+\sum _{i=1}^{N}(-1)^{i}\nabla ^{(i)}\cdot {\frac {\partial f}{\partial \left(\nabla ^{(i)}\rho \right)}}\ \end{aligned}}}$

在最后两个方程中，张量 $\frac {\partial f}{\partial \left(\nabla ^{(i)}\rho \right)}$ 的 $n^{i}$ 元素是 $f$ 关于 $\rho$

${\displaystyle \left[{\frac {\partial f}{\partial \left(\nabla ^{(i)}\rho \right)}}\right]_{\alpha _{1}\alpha _{2}\cdots \alpha _{i}}={\frac {\partial f}{\partial \rho _{\alpha _{1}\alpha _{2}\cdots \alpha _{i}}}}\qquad \qquad {\text{where}}\quad \rho _{\alpha _{1}\alpha _{2}\cdots \alpha _{i}}\equiv {\frac {\partial ^{\,i}\rho }{\partial r_{\alpha _{1}}\,\partial r_{\alpha _{2}}\cdots \partial r_{\alpha _{i}}}}\ }$

张量标量积是：

${\displaystyle \nabla ^{(i)}\cdot {\frac {\partial f}{\partial \left(\nabla ^{(i)}\rho \right)}}=\sum _{\alpha _{1},\alpha _{2},\cdots ,\alpha _{i}=1}^{n}\ {\frac {\partial ^{\,i}}{\partial r_{\alpha _{1}}\,\partial r_{\alpha _{2}}\cdots \partial r_{\alpha _{i}}}}\ {\frac {\partial f}{\partial \rho _{\alpha _{1}\alpha _{2}\cdots \alpha _{i}}}}\ }$

比如，对于 $n=3$，$i=2$

${\displaystyle \nabla ^{(2)}\cdot {\frac {\partial f}{\partial \left(\nabla ^{(2)}\rho \right)}}=\sum _{\alpha ,\beta =1}^{3}\ {\frac {\partial ^{\,2}}{\partial r_{\alpha }\,\partial r_{\beta }}}\ {\frac {\partial f}{\partial \rho _{\alpha \beta }}}\qquad {\text{where}}\ \ \rho _{\alpha \beta }\equiv {\frac {\partial ^{\,2}\rho }{\partial r_{\alpha }\,\partial r_{\beta }}}\ }$

5.3.2 例子

5.3.2.1 Thomas-Fermi kinetic energy functional

1927 年的 Thomas-Fermi model 在电子结构的密度泛函理论的第一次尝试中使用了非相互作用均匀电子气的动能泛函：

${\displaystyle T_{\mathrm {TF} }[\rho ]=C_{\mathrm {F} }\int \rho ^{5/3}(\mathbf {r} )\,\mathrm{d}\mathbf {r} \ }$

由于 $T_{\mathrm{TF}}[\rho]$ 的被积函数不涉及 $\rho(\mathbf{r})$ 的导数，因此 $T_{\mathrm{TF}}[\rho]$

${\displaystyle {\begin{aligned}{\frac {\delta T_{\mathrm {TF} }}{\delta \rho ({\boldsymbol {r}})}}&=C_{\mathrm {F} } {\frac {\partial \rho ^{5/3}(\mathbf {r} )}{\partial \rho (\mathbf {r} )}}\\&={\frac {5}{3}} C_{\mathrm {F} }\rho ^{2/3}(\mathbf {r} )\,\end{aligned}}}$

5.3.2.2 Coulomb potential energy functional

对于电子-核势（electron-nucleus potential），Thomas 和 Fermi 采用库仑势能泛函：

${\displaystyle V[\rho ]=\int {\frac {\rho ({\boldsymbol {r}})}{|{\boldsymbol {r}}|}}\ \mathrm{d}{\boldsymbol {r}}}$

应用泛函导数的定义，

${\displaystyle {\begin{aligned}\int {\frac {\delta V}{\delta \rho ({\boldsymbol {r}})}}\ \phi ({\boldsymbol {r}})\ \mathrm{d}{\boldsymbol {r}}&{}=\left[{\frac {\mathrm{d}}{\mathrm{d}\varepsilon }}\int {\frac {\rho ({\boldsymbol {r}})+\varepsilon \phi ({\boldsymbol {r}})}{|{\boldsymbol {r}}|}}\ \mathrm{d}{\boldsymbol {r}}\right]_{\varepsilon =0}\\&{}=\int {\frac {1}{|{\boldsymbol {r}}|}}\,\phi ({\boldsymbol {r}})\ \mathrm{d}{\boldsymbol {r}}\,\end{aligned}}}$

所以，

${\displaystyle {\frac {\delta V}{\delta \rho ({\boldsymbol {r}})}}={\frac {1}{|{\boldsymbol {r}}|}}\ }$

对于电子-电子相互作用的经典部分，Thomas 和 Fermi 采用了库仑势能泛函

${\displaystyle J[\rho ]={\frac {1}{2}}\iint {\frac {\rho (\mathbf {r} )\rho (\mathbf {r}$

从泛函导数的定义：

${\displaystyle {\begin{aligned}\int {\frac {\delta J}{\delta \rho ({\boldsymbol {r}})}}\phi ({\boldsymbol {r}})\mathrm{d}{\boldsymbol {r}}&{}=\left[{\frac {\mathrm{d}\ }{\mathrm{d}\epsilon }}\,J[\rho +\epsilon \phi ]\right]_{\epsilon =0}\\&{}=\left[{\frac {\mathrm{d}\ }{\mathrm{d}\epsilon }}\,\left({\frac {1}{2}}\iint {\frac {[\rho ({\boldsymbol {r}})+\epsilon \phi ({\boldsymbol {r}})]\,[\rho ({\boldsymbol {r}}$

最后一个方程右侧的第一项和第二项相等，因为第二项中的 r 和 r’ 可以互换，而无需改变积分的值。所以，

${\displaystyle \int {\frac {\delta J}{\delta \rho ({\boldsymbol {r}})}}\phi ({\boldsymbol {r}})\mathrm{d}{\boldsymbol {r}}=\int \left(\int {\frac {\rho ({\boldsymbol {r}}$

电子-电子库仑势能泛函 $J[\rho]$

${\displaystyle {\frac {\delta J}{\delta \rho ({\boldsymbol {r}})}}=\int {\frac {\rho ({\boldsymbol {r}}$

二阶泛函导数是：

${\displaystyle {\frac {\delta^{2}J[\rho]}{\delta\rho(\mathbf{r}$

5.3.2.3 Weizsäcker kinetic energy functional

1935 年 von Weizsäcker 提议对 Thomas-Fermi 动能泛函添加梯度校正，以使其更适合分子电子云：

${\displaystyle T_{\mathrm {W} }[\rho ]={\frac {1}{8}}\int {\frac {\nabla \rho (\mathbf {r} )\cdot \nabla \rho (\mathbf {r} )}{\rho (\mathbf {r} )}}d\mathbf {r} =\int t_{\mathrm {W} }\ d\mathbf {r} \,}$

其中

${\displaystyle t_{\mathrm {W} }\equiv {\frac {1}{8}}{\frac {\nabla \rho \cdot \nabla \rho }{\rho }}\quad {\text{and}}\ \ \rho =\rho ({\boldsymbol {r}})\ }$

使用先前导出的泛函导数公式：

${\displaystyle {\begin{aligned}{\frac {\delta T_{\mathrm {W} }}{\delta \rho ({\boldsymbol {r}})}}&={\frac {\partial t_{\mathrm {W} }}{\partial \rho }}-\nabla \cdot {\frac {\partial t_{\mathrm {W} }}{\partial \nabla \rho }}\\&=-{\frac {1}{8}}{\frac {\nabla \rho \cdot \nabla \rho }{\rho ^{2}}}-\left({\frac {1}{4}}{\frac {\nabla ^{2}\rho }{\rho }}-{\frac {1}{4}}{\frac {\nabla \rho \cdot \nabla \rho }{\rho ^{2}}}\right)\qquad {\text{where}}\ \ \nabla ^{2}=\nabla \cdot \nabla \ ,\end{aligned}}}$

结果是：

${\displaystyle {\frac {\delta T_{\mathrm {W} }}{\delta \rho ({\boldsymbol {r}})}}=\ \ \,{\frac {1}{8}}{\frac {\nabla \rho \cdot \nabla \rho }{\rho ^{2}}}-{\frac {1}{4}}{\frac {\nabla ^{2}\rho }{\rho }}\ }$

5.3.2.4 熵

离散随机变量的熵是概率质量函数（probability mass function）的泛函。

${\displaystyle H[p(x)]=-\sum _{x}p(x)\log p(x)}$

因此，

${\displaystyle {\begin{aligned}\sum _{x}{\frac {\delta H}{\delta p(x)}}\,\phi (x)&{}=\left[{\frac {\mathrm{d}}{\mathrm{d}\epsilon }}H[p(x)+\epsilon \phi (x)]\right]_{\epsilon =0}\\&{}=\left[-\,{\frac {\mathrm{d}}{\mathrm{d}\varepsilon }}\sum _{x}\,[p(x)+\varepsilon \phi (x)]\ \log[p(x)+\varepsilon \phi (x)]\right]_{\varepsilon =0}\\&{}=-\sum _{x}\,[1+\log p(x)]\ \phi (x)\,\end{aligned}}}$

因此，

${\displaystyle {\frac {\delta H}{\delta p(x)}}=-1-\log p(x)}$

5.3.2.5 指数泛函

让

${\displaystyle F[\varphi (x)]=e^{\int \varphi (x)g(x)dx}}$

使用 delta 函数作为测试函数：

${\displaystyle {\begin{aligned}{\frac {\delta F[\varphi (x)]}{\delta \varphi (y)}}&{}=\lim _{\varepsilon \to 0}{\frac {F[\varphi (x)+\varepsilon \delta (x-y)]-F[\varphi (x)]}{\varepsilon }}\\&{}=\lim _{\varepsilon \to 0}{\frac {e^{\int (\varphi (x)+\varepsilon \delta (x-y))g(x)dx}-e^{\int \varphi (x)g(x)dx}}{\varepsilon }}\\&{}=e^{\int \varphi (x)g(x)dx}\lim _{\varepsilon \to 0}{\frac {e^{\varepsilon \int \delta (x-y)g(x)dx}-1}{\varepsilon }}\\&{}=e^{\int \varphi (x)g(x)dx}\lim _{\varepsilon \to 0}{\frac {e^{\varepsilon g(y)}-1}{\varepsilon }}\\&{}=e^{\int \varphi (x)g(x)dx}g(y)\end{aligned}}}$

因而：

${\displaystyle {\frac {\delta F[\varphi (x)]}{\delta \varphi (y)}}=g(y)F[\varphi (x)]}$

这对于使用量子场论中的配分函数，来计算相关函数（correlation functions）特别有用。

5.3.2.6 函数的泛函导数

函数可以像泛函一样写成积分的形式。例如，

${\displaystyle \rho ({\boldsymbol {r}})=F[\rho ]=\int \rho ({\boldsymbol {r}}$

由于被积函数不依赖于 $\rho$ 的导数，因此 $\rho(\boldsymbol{r})$

${\displaystyle {\begin{aligned}{\frac {\delta \rho ({\boldsymbol {r}})}{\delta \rho ({\boldsymbol {r}}$

5.3.2.7 迭代函数的泛函导数

迭代函数 $f(f(x))$

${\displaystyle {\frac {\delta f(f(x))}{\delta f(y)}}=f$

和

${\displaystyle {\frac {\delta f(f(f(x)))}{\delta f(y)}}=f$

一般来说：

${\displaystyle {\frac {\delta f^{N}(x)}{\delta f(y)}}=f$

放入 $N = 0$

${\displaystyle {\frac {\delta f^{-1}(x)}{\delta f(y)}}=-{\frac {\delta (f^{-1}(x)-y)} {f$

5.4 使用 delta 函数作为测试函数

在物理学中，通常使用狄拉克 delta 函数 $\delta (x-y)$ 代替通用测试函数 $\phi (x)$，以得到 $y$

${\displaystyle {\frac {\delta F[\rho (x)]}{\delta \rho (y)}}=\lim _{\varepsilon \to 0}{\frac {F[\rho (x) +\varepsilon \delta (x-y)]-F[\rho (x)]}{\varepsilon }}}$

这适用于 $F[\rho (x)+\varepsilon f(x)]$ 形式上可以扩展为一个级数的情况（或至少 $\varepsilon$ 中的第一阶）。然而，该公式在数学上并不严格，因为 $F[\rho (x)+\varepsilon \delta (x-y)]$

上一节给出的定义是基于对所有测试函数 $\phi (x)$ 都成立的关系，所以人们可能认为它也应该成立，当 $\phi (x)$

在定义中，泛函导数描述了泛函 $F[\rho (x)]$ 如何随着整个函数 $\rho (x)$ 的微小变化而变化。$\rho (x)$ 的具体变化形式没有指定，但它应该延伸到定义 $x$ 的整个区间。使用由 delta 函数给出的特定形式的扰动意味着 $\rho (x)$ 仅在点 $y$ 处变化。除了这一点，$\rho (x)$

6. Euler-Lagrange equation

6.1 简介

在变分法和经典力学中，欧拉-拉格朗日方程是一个二阶常微分方程组，其解是给定作用泛函的驻点。这些方程是在 1750 年代由瑞士数学家 Leonhard Euler 和意大利数学家 Joseph-Louis Lagrange 发现的。

因为可微泛函在其局部极值处是静止的，所以欧拉-拉格朗日方程可用于解决优化问题，在这些问题中，给定一些泛函，人们寻求函数使其最小化或最大化。这类似于微积分中的费马定理，指出在可微函数达到局部极值的任何点，其导数为零。在拉格朗日力学中，根据汉密尔顿的静止作用原理，物理系统的演化是由系统作用的欧拉方程的解来描述的。在这种情况下，欧拉方程通常称为拉格朗日方程。在经典力学中，它等价于牛顿运动定律；事实上，欧拉-拉格朗日方程将产生与牛顿定律相同的方程。这在分析力矢量特别复杂的系统时特别有用。它的优点是在任何广义坐标系中都采用相同的形式，并且更适合泛化。在经典场论中，有一个类似的方程来计算场的动力学。

6.2 历史

Euler-Lagrange 方程是在 1750 年代由 Euler 和 Lagrange 在他们对 tautochrone 问题的研究中开发的。这是确定一条曲线的问题，在该曲线上，加权粒子将在固定的时间内落到固定点，与起点无关。

拉格朗日在 1755 年解决了这个问题，并将解决方案发送给欧拉。两者都进一步发展了拉格朗日方法并将其应用于力学，从而形成了拉格朗日力学。他们的通信最终导致了变分法，这是欧拉本人在 1766 年创造的一个术语。

6.3 详细内容

令 $(X,L)$ 是一个具有 $n$ 自由度的机械系统。这里 $X$ 是配置空间，$L=L(t,{\boldsymbol {q}},{\boldsymbol {v}})$ 拉格朗日函数，即平滑实值函数，使得 ${\boldsymbol {q}}\in X$ 和 ${\boldsymbol {v}}$ 是一个 $n$ 维“速度向量”。（对于那些熟悉微分几何的人来说，$X$ 是一个光滑流形，而 $L:{\mathbb {R} }_{t}\times TX\to {\mathbb {R} }$ 其中 $TX$ 是 $X$ 的切丛（tangent bundle））。

让 $\mathcal{P}(a,b,{\boldsymbol {x}}_{a},{\boldsymbol {x}}_{b})$ 是平滑路径的集合 ${\boldsymbol {q}}:[a ,b]\to X$ 其中 ${\boldsymbol {q}}(a)={\boldsymbol {x}} _{a}$ 和 ${\boldsymbol {q}}(b)={\boldsymbol {x}}_ {b}$ 动作泛函 $S:{\cal {P}}(a, b,{\boldsymbol {x}}_{a},{\boldsymbol {x}}_{b})\to \mathbb {R}$

$S[{\boldsymbol {q}}]=\int _{a}^{b}L(t,{\boldsymbol {q}}(t),{\dot {\boldsymbol {q}}} (t))\,dt$

一条路径 ${\boldsymbol {q}}\in {\cal {P}}(a,b,{\boldsymbol {x}}_{a},{\boldsymbol {x}}_{b})$ 是 $S$ 的驻点（stationary point），当且仅当

${\frac {\partial L}{\partial q^{i}}}(t,{\boldsymbol {q}}(t),{\dot {\boldsymbol {q}}}(t)) -{\frac {\mathrm {d} }{\mathrm {d} t}}{\frac {\partial L}{\partial {\dot {q}}^{i}}}(t,{\boldsymbol {q}}(t),{\dot {\boldsymbol {q}}}(t))=0,\quad i=1,\dots ,n$

这里，${\dot {\boldsymbol {q}}}(t)$ 是 ${\boldsymbol {q}}(t)$

6.4 推导过程

求泛函的极值类似于求函数的最大值和最小值。函数的最大值和最小值可以通过找到其导数等于零的点来定位。泛函的极值可以通过寻找泛函导数为零的函数来获得。这导致了求解相关的欧拉-拉格朗日方程的引入。

考虑泛函：

$J[y]=\int _{x_{1}}^{x_{2}}L\left(x,y(x),y$

其中
$x_{1}$，$x_{2}$ 是常数，
$y(x)$ 是两次连续可微的，
$y$，
$L\left(x,y(x),y$关于它的参数$x$，$y$，$y$两次连续可微。（可以使用一个较弱的假设，但证明变得更加困难。）

如果泛函 $J[y]$ 在 $f$ 处达到局部最小值（当然也可以讨论极大值，而与下述推导一致），并且 $\eta (x)$ 是任意具有至少一个导数并且在端点 $x_{1}$ 和 $x_{2}$ 处消失（$\eta(x_{1})=0=\eta(x_{2})$）的函数，那么对于任意数 $\varepsilon\rightarrow 0$：

$J[f]\leq J[f+\varepsilon \eta]$

$\varepsilon \eta$ 称为函数 $f$ 的变分，记为 $\delta f$。

在泛函 $J[y]$ 中将 $y$ 替换为 $f+\varepsilon \eta$，结果为$\varepsilon$

$\Phi (\varepsilon )=J[f+\varepsilon \eta ]$

由于泛函 $J[y]$ 对 $y=f$ 有最小值，所以函数 $\Phi (\varepsilon)$ 在 $\varepsilon =0$

$\Phi$

取 $L\left[x,y,y$ 的全导数（total derivative），其中 $y=f+\varepsilon\eta$ 和 $y$ 被认为是 $\varepsilon$ 而不是 $x$

$\begin{aligned} \frac {\mathrm{d}L}{\mathrm{d}\varepsilon } &=\frac {\partial L}{\partial x}\frac {\mathrm{d}x}{\mathrm{d}\varepsilon }+\frac {\partial L}{\partial y}\frac {\mathrm{d}y}{\mathrm{d}\varepsilon }+\frac {\partial L }{\partial y$

其中由于变量 $x$ 与 $\varepsilon$ 不相关，所以 $\frac {\mathrm{d}x}{\mathrm{d}\varepsilon }=0\Rightarrow \frac {\partial L}{\partial x}\frac {\mathrm{d}x}{\mathrm{d}\varepsilon }=0$。

因为 $\frac {\mathrm{d}y}{\mathrm{d}\varepsilon }=\eta$ 和 $\frac {\mathrm{d}y$：

$\frac {\mathrm{d}L}{\mathrm{d}\varepsilon}=\frac {\partial L}{\partial y}\eta +\frac {\partial L}{\partial y$

所以 $\epsilon=0$ 时，上式中的 $y=f$，于是上式变为：

$\frac {\mathrm{d}L}{\mathrm{d}\varepsilon}=\frac {\partial L}{\partial f}\eta +\frac {\partial L}{\partial f$

所以：

$\begin{aligned} \int _{x_{1}}^{x_{2}}\left.{\frac {\mathrm{d}L}{\mathrm{d}\varepsilon }}\right|_{\varepsilon =0} \mathrm{d}x &=\int _{x_{1}}^{x_{2}}\left({\frac {\partial L}{\partial f}}\eta +{\frac {\partial L}{\partial f$

其中当 $\varepsilon =0$，$L\left[x,y,y$ ，推导中在第二项中使用了部分积分。第二行的第二项消失了，因为根据定义， $\eta(x_{1})=0=\eta(x_{2})$。此外，如前所述，等式的左侧为零，因此：

$\int _{x_{1}}^{x_{2}}\eta (x)\left({\frac {\partial L}{\partial f}}-{\frac {\mathrm{d}}{\mathrm{d}x }}{\frac {\partial L}{\partial f$

根据变分法的基本引理（fundamental lemma of calculus of variations），括号中被积函数的部分为零，即

${\frac {\partial L}{\partial f}}-{\frac {\mathrm{d}}{\mathrm{d}x}}{\frac {\partial L}{\partial f$

这称为欧拉-拉格朗日方程（Euler-Lagrange equation）。这个方程的左边称为 $J[f]$ 的泛函导数，记为 $\delta J/\delta f(x)$。

一般来说，这给出了一个二阶常微分方程，可以求解该方程以获得极值函数 $f(x)$。欧拉-拉格朗日方程是极值 $J[f]$

6.5 另一种推导方法

给定一个泛函

$J=\int _{a}^{b}L(t,y(t),y$

在 $C^{1}([a,b])$ 上，边界条件为 $y(a)=A$ 和 $y(b)=B$，我们通过一条具有 $n$

将区间 $[a,b]$ 分成 $n$ 等段，端点为 $t_{0}=a,t_{1},t_{2},\ldots ,t_{n}=b$ 并令 $\Delta t=t_{k}-t_{ k-1}$。我们不考虑平滑函数 $y(t)$，而是考虑具有顶点 $(t_{0},y_{0}),\ldots ,(t_{n},y_{ n})$，其中 $y_{0}=A$ 和 $y_{n}=B$。因此，我们的泛函变成了 $n-1$

$J(y_{1},\ldots ,y_{n-1})\approx \sum _{k=0}^{n-1}L\left(t_{k},y_{k}, {\frac {y_{k+1}-y_{k}}{\Delta t}}\right)\Delta t$

在离散点 $t_{0},\ldots ,t_{n}$

$\frac {\partial J(y_{1},\ldots ,y_{n})}{\partial y_{m}}=0$

求偏导可得：

${\frac {\partial J}{\partial y_{m}}}=L_{y}\left(t_{m},y_{m},{\frac {y_{m+1}-y_ {m}}{\Delta t}}\right)\Delta t+L_{y$

将上述方程除以 $\Delta t$

${\frac {\partial J}{\partial y_{m}\Delta t}}=L_{y}\left(t_{m},y_{m},{\frac {y_{m+1 }-y_{m}}{\Delta t}}\right)-{\frac {1}{\Delta t}}\left[L_{y$

并将该表达式右侧的极限设为 $\Delta t\to 0$

$L_{y}-{\frac {\mathrm {d} }{\mathrm {d} t}}L_{y$

上式的左边是泛函 $J$ 的泛函导数 $\delta J/\delta y$。可微泛函在某个函数上具有极值的必要条件是它在该函数处的泛函导数消失，这是由最后一个方程所认可的。

---

• 参考资料：

【数学百科】变分是什么？它和微分有什么区别？

wiki: Calculus of variations

wiki: Euler–Lagrange equation

wiki: Fundamental lemma of calculus of variations

wiki: Compact space

wiki: Mollifier

wiki: Bump function

wiki: Characteristic function

wiki: Indicator function

wiki: Beltrami identity

wiki: Functional derivative