激活函数 卷积 池化 卷积 冲激函数

1.冲激函数

1.1狄拉克给出的单位冲激函数的定义

单位冲激函数定义：是奇异函数，它是对强度极大，作用时间极短的物理量的理想化模型（狄拉克提出）。可以用 $\delta(t)$ 表示：
$\left\{\begin{array}{l} \delta(t)=0, \qquad \qquad t \neq 0 \\ \int_{-\infty}^{\infty} \delta(t) d t=1 \end{array}\right.$
可以这么去理解：它是高度无穷大，宽度无穷小，面积为1的对称窄脉冲。

因为 $\delta(t)=\delta(-t)$ , 因此可以认为冲激函数是偶函数。

可以认为下图的过程就是得到 $\delta(t)$

冲激函数 $\delta(t)$ 与阶跃函数 $\varepsilon(t)$

公式表示：
$\delta(t)=\frac{\mathrm{d} \varepsilon(t)}{\mathrm{d} t} \quad \varepsilon(t)=\int_{-\infty}^{t} \delta(\tau) \mathrm{d} \tau$
由此可见，冲击函数的作用之一就是可以描述间断点的导数：

1.2 冲激函数的广义函数定义

狄拉克给出的单位冲激函数的定义是一种简单的描述性的定义：t不等于0时函数值为0，t等于0时函数值为无穷大，但函数与坐标轴所围的面积是1。但是从数学的角度来说，这是不严格的定义。

而后面的数学家们给出了一种严谨的定义，称之为冲激函数的广义函数定义，即假设检验函数 $\varphi(t) $ 性质良好（咱也不知道怎么样算好，但我们经常见的都是好的），能使下式成立的所有函数 $\delta (t)$ 都称为冲激函数 $\delta (t)$。：
$\int_{-\infty}^{\infty} \delta(t) \varphi(t) d t=\varphi(0)$
举个例子 $\delta (t)$ 可以为：
$\delta(t)=\lim _{b \rightarrow \infty} \frac{\sin (b t)}{\pi t}$
而冲激函数具有很重要的性质，即冲激函数的取样性质，为：
$\left\{\begin{array}{l} f(t) \delta(t)=f(0) \delta(t) \\ \int_{-\infty}^{\infty} f(t) \delta(t) \mathrm{d} t=f(0) \end{array}\right.$

1.3 冲激函数的导数的定义

由复合函数的求导规则，有：
$[f(t) \delta(t)]^{\prime}=f(t) \delta^{\prime}(t)+f^{\prime}(t) \delta(t)$
由冲击函数的取样性质，有：
$\begin{aligned} f(t) \delta^{\prime}(t) &=[f(t) \delta(t)]^{\prime}-f^{\prime}(t) \delta(t) =f(0) \delta^{\prime}(t)-f^{\prime}(0) \delta(t) \end{aligned}$
因为冲激函数是偶函数，所以冲击函数的导数是奇函数。

对两边同时取积分，因为奇函数取积分后值为0，所以有：
$\int_{-\infty}^{\infty} f(t) \delta^{\prime}(t) d t=-f^{\prime}(0)$
类比冲激函数的定义，上式即为冲激函数的导数的定义。

通过递归的方式，可以推导出冲激函数的n阶导数的定义：
$\int_{-\infty}^{\infty} f(t) \delta^{(n)}(t) \mathrm{d} t=(-1)^{n} f^{(n)}(0)$

2. 卷积

卷积有什么作用？我想这个问题比卷积的定义更令人感兴趣。其实卷积的本质是信号的分解，类似加减乘除运算，卷积是一种计算规则，之所以给这个计算规则起个名字，是因为这种计算经常能用到。因为卷积的本质是信号的分解，所以最好先了解一下信号的分解。

2.1 信号的时域分解

应用信号分解的例子举不胜举，举个有目的性的例子：有时候我们仅知道简单信号作用于一个线性时不变系统后会产生什么响应，而目标是求复杂信号作用于这个系统后的响应，这个时候，如果可以将这个复杂信号分解成很多个简单信号的叠加，那么所求响应也是多个简单信号响应的叠加。

首先，我们构造一个高度为 ${1}/{\Delta}$ ，宽度为 ${\Delta}$ ，面积为 $1$ 的门函数 $p(t)$（下左图）。此时，如果还有一个宽度为 $\Delta$ ，高度为 $A$ 的门函数$f_1(t)$，那么直观地， $f_1(t)$ 可以用 $p(t)$ 线性表示为 $f_1(t)=A\cdot\Delta\cdot p(t)$：

假如有一个任意信号 $f(t)$

我们可以考虑用多个门函数的叠加的结果 $\hat{f}(t)$ 来近似表示 $f(t)$

那么：

• “0”号门函数高度为 $f(0)$, 宽度为 $\Delta$ ，用 $p(t)$ 表示为：$f(0) \cdot\Delta \cdot p(t)$
• “1”号门函数高度为 $f(\Delta)$, 宽度为 $\Delta$ ，用 $p(t-\Delta)$ 表示为：$f(\Delta) \cdot\Delta \cdot p(t-\Delta)$
• “-1”号门函数高度为 $f(-\Delta)$, 宽度为 $\Delta$ ，用 $p(t+\Delta)$ 表示为：$f(-\Delta) \cdot\Delta \cdot p(t+\Delta)$

所以 $f(t)$ 的近似表示结果可以表示为：
$\hat{f}(t)=\sum_{n=-\infty}^{\infty} f(n \Delta) \cdot\Delta \cdot p(t-n \Delta)$

2.2 卷积定义

从图形上看来，如果宽度 $\Delta \rightarrow 0$ 时，则 ${f}(t)=\hat{f}(t)$, 令 $n \Delta=\tau$ , 有：
$f(n \Delta)=f(\tau) \: ; \qquad \Delta=\rm d \tau \: ; \qquad \it p(t-n \Delta)=\delta(t-\tau)$
$f(t)$ 可以表示为：
$\lim _{\Delta \rightarrow 0} \hat{f}(t)=f(t)=\int_{-\infty}^{\infty} f(\tau) \delta(t-\tau) \mathrm{d} \tau$
而卷积定义如下：

已知定义在区间 $(-\infty,\infty)$ 上的两个函数 $f_1(t)$ 和 $f_2(t)$, 则定义积分:
$f(t)=\int_{-\infty}^{\infty} f_{1}(\tau) f_{2}(t-\tau) d \tau$
为 $f_1(t)$ 和 $f_2(t)$的卷积积分，简称卷积，记为：
$f(t)=f_{1}(t){*} f_{2}(t)$

所以，对于上述信号分解过程，在 $\Delta \rightarrow 0$ 时的 $f(t)$ 的分解结果，即为 $f(t)$ 和冲激函数 $\delta(t)$

因此，从信号分解角度可以得出：任意函数和冲激函数的卷积都等于其本身，可以用式子表示为：
$f(t)=f(t)*\delta(t)$

2.3 卷积作用举例

系统冲激响应的定义：由单位冲激响应 $\delta(t)$ 引起的系统的零状态响应，记为 $h(t)$

系统零状态响应的定义：仅由激励 $f(t)$ 引起的系统的响应，记为 $y_{zs}(t)$

系统（本文所指系统均为线性时不变系统）的冲激响应 $h(t)$ 有时候可以通过测试得到（让我想起了锤击法测固有频率），若已经求得冲击响应 $h(t)$, 则可以求解任意信号 $f(t)$

根据$h(t)$的定义：
$\delta(t) \longrightarrow h(t)$
根据时不变性：
$\delta(t-\tau) \longrightarrow h(t-\tau)$
根据齐次性：
$f(\tau)\delta(t-\tau) \longrightarrow f(\tau)h(t-\tau)$
由叠加性：
$\int_{-\infty}^{\infty} f(\tau) \delta(t-\tau) \mathrm{d} \tau \longrightarrow \int_{-\infty}^{\infty} f(\tau) h(t-\tau) \mathrm{d} \tau$
而上式等号左侧就等于激励 $f(t)$, 等号右侧就等于仅由激励 $f(t)$ 对应的零状态响应 $y_{zs}(t)$, 所以有：
$y_{zs}(t) = f(t)*h(t)$

3.冲激函数与卷积的邂逅

3.1第一次邂逅

就是上文已经推导的公式：
$f(t)*\delta(t)=f(t)$

3.2 第二次邂逅

$f(t){*} \delta^{\prime}(t)=f^{\prime}(t)$

证明如下：

由卷积的定义式，有：
$f(t) * \delta^{\prime}(t)=\int_{-\infty}^{\infty} f(t-\tau) \delta^{\prime}(\tau) d \tau$
**关键一步：**令 $g(\tau)=f(t-\tau)$, 则 $g(\tau)$ 是含有参数 $t$ 的关于 $\tau$ 的函数，有：
$f(t) * \delta^{\prime}(t)=\int_{-\infty}^{\infty} g(\tau) \delta^{\prime}(\tau) d \tau=-g^{\prime}(0)$
对 $g(\tau)$ 进行求导，有：
$g^{\prime}(\tau)=\frac{d[g(\tau)]}{d \tau}=\frac{d[f(t-\tau)]}{d \tau}=-f^{\prime}(t-\tau)$
把 $\tau=0$ 带入上式， 则有：$g^{\prime}(0)=-f^{\prime}(t)$ , 所以有：
$f(t){*} \delta^{\prime}(t)=f^{\prime}(t)$

3.3 第三次邂逅

$f(t) * \delta^{(n)}(t)=f^{(n)}(t)$

因为 $f(t){*} \delta^{\prime}(t)=f^{\prime}(t)$, 所以 $\delta^{\prime}(t){*} \delta^{\prime}(t)=\delta^{\prime\prime}(t)$, 故：
$\begin{align*} f(t) * \delta^{(n)}(t)&=f(t) * \underbrace{\delta^{\prime}(t) * \delta^{\prime}(t) * \cdots * \delta^{\prime}(t)}_{n \:个}\\ &=f^{\prime}(t) * \underbrace{\delta^{\prime}(t) * \delta^{\prime}(t) * \cdots * \delta^{\prime}(t)}_{n-1 \:个}\\ &=f^{\prime\prime}(t) * \underbrace{\delta^{\prime}(t) * \delta^{\prime}(t) * \cdots * \delta^{\prime}(t)}_{n-2 \:个}\\ &=f^{(n)}(t) \end{align*}$
注：上式推导用到了卷积的结合律本文未证明。