图像识别小样本深度学习

转载

技术极客之光 2024-09-26 10:34:15

文章标签 图像识别小样本深度学习图像处理 python 决策函数模式识别 文章分类 深度学习人工智能

12.1 模式和模式类

12.2 基于决策理论方法的识别

12.2.1 匹配

12.2.2 最佳统计分类器

12.2.3 神经网络

12.3 结果方法

12.3.1 匹配形状数

12.3.2 串匹配

本章介绍的模式识别方法主要分为两大邻域：决策理论犯法和结构方法。

第一类方法处理的是使用定量描绘子来描述各种模式，如长度、面积和纹理等。第二类方法处理的是由定性描绘子来描述的各种模式。

12.1 模式和模式类

模式是描绘子的组合，在有关模式识别文献中经常使用特征来表示描绘子。由机器完成的模式识别涉及自动地且人为干预尽可能少地将不同模式赋予不同类别的技术。

实验中常用的三种模式组合是向量（用于定量描述）、串和树（用于结构描述）。模式向量由粗体小写字母表示，如x,y和z，并采取下列形式：

$\boldsymbol{x}=\left[\begin{array}{c} \mathrm{x}_{1} \\ \mathrm{x}_{2} \\ \vdots \\ \mathrm{x}_{\mathrm{n}} \end{array}\right]$

式中每个分量xi表示第i个描绘子，n是与该模式有关的描绘子的总数。

模式向量x中的各个分量的性质，取决于用来描述该物理模式本身的方法。

串描述适用于生成其结构是基于基元的简单连接，并且通常是和边界形状有关系的目标模式和其他实体模式。对许多应用来说，一种更有效的方法是使用树形描述。基本上，多数层次排序方案都会导致树结构。树的根表示整幅图像，按层次不断细分，直到达到我们在图像解析不同区域的能力的极限为止。

12.2 基于决策理论方法的识别

决策理论方法识别以使用决策（或判别）函数为基础。令

$x=(x_{1},x_{2},...,x_{n})^{T}$

表示一个n维模式向量。对于W个模式类

$\omega_{1}, \omega_{2}, \cdots, \omega_{W}$

，决策理论模式识别的基本问题是依据如下属性来找到W个决策函数

$d_{1}(\boldsymbol{x}), d_{2}(\boldsymbol{x}), \cdots, d_{u}(\boldsymbol{x})$

：如果模式x属于类

$\omega_{i}$

,则

$d_{i}(\boldsymbol{x})>d_{i}(\boldsymbol{x}) \quad j=1,2, \cdots, W ; j \neq i$

使用单一函数

$d_{i j}(\mathbf{x})=d_{i}(\boldsymbol{x})-d_{j}(\boldsymbol{x})=0$

来识别两类之间的决策边界。因此，对于模式类

$\omega_{i}$

有

$d_{i j}(\boldsymbol{x})>0$

，而对于模式类

$\omega _{j}$

有

$d_{i j}(\boldsymbol{x})<0$

。

12.2.1 匹配

基于匹配的识别技术通过一个原型模式向量来表示每个类。根据一种预先定义的测度，将一个未知模型赋予最接近的类。

最小距离分类器

假设我们把每个模式类的原型定义为该类模式的平均向量：

$m_{j}=\frac{1}{N_{j}} \sum_{x \in \omega_{j}} \boldsymbol{x}_{j} \quad j=1,2, \cdots, W$

最小距离分类器由每个类的均值向量来确定，最小距离等同于计算函数

$d_{j}(\boldsymbol{x})=\boldsymbol{x}^{\mathrm{T}} \boldsymbol{m}_{j}-\frac{1}{2} \boldsymbol{m}_{j}^{\mathrm{T}} \boldsymbol{m}_{j} \quad j=1,2, \cdots, W$

决策边界

$\begin{aligned} d_{i j}(\boldsymbol{x}) &=d_{i}(\boldsymbol{x})-d_{j}(\boldsymbol{x}) \\ &=\boldsymbol{x}^{\mathrm{T}}\left(\boldsymbol{m}_{i}-\boldsymbol{m}_{j}\right)-\frac{1}{2}\left(\boldsymbol{m}_{i}-\boldsymbol{m}_{j}\right)^{\mathrm{T}}\left(\boldsymbol{m}_{i}+\boldsymbol{m}_{j}\right)=0 \end{aligned}$

相关匹配

空间相关通过相关定理与函数的变换相联系：

$\mathrm{f}(\mathrm{x}, \mathrm{y}) \nrightarrow \mathrm{w}(\mathrm{x}, \mathrm{y}) \leftrightarrow \mathrm{F}^{*}(\mathrm{u}, \mathrm{v}) \mathrm{W}(\mathrm{u}, \mathrm{v})$

归一化相关系数：

$\gamma(x, y)=\frac{\sum_{s} \sum_{t}[w(s, t)-\bar{w}]\left[f(x+s, y+t)-\bar{f}_{x y}\right]}{\left\{\sum_{s} \sum_{t}[w(s, t)-\bar{w}]^{2} \sum_{s} \sum_{t}\left[f(x+s, y+t)-\bar{f}_{x y}\right]^{2}\right\}^{\frac{1}{2}}}$

其中，求和的上下限取w和f的共同范围，

$\bar{w}$

是模板的平均值（只计算一次），

$\bar{f}_{x y}$

是f中与w重合区域的平均值。通常，我们称w为模板，相关称为模板匹配。

通过移动该模板的中心（即增大x和y），以便w的中心访问f中的每个像素，可得到所有的相关系数γ(x,y)寻找γ(x,y)中的最大值，从而找到最好匹配的位置。如果γ(x,y)中有多个位置出现最大值，表明w和f之间有多个匹配。

12.2.2 最佳统计分类器

在平均意义上有可能推导出一种最佳分类方法，用这种方法会产生最低的错误分类的概率。

基础知识

来自类

$\omega_{i}$

的特定模式x的概率表示为

$p\left(\omega_{i} / \mathbf{x}\right)$

。如果模式分类器判断x来自类

$\omega_{j}$

，而实际上它来自类

$\omega_{i}$

，那么分类器就会导致一次损失，表示为

$L_{i j}$

。由于模式x可能属于所考虑的W个类中的任何一个类，故将模式x赋予类

$\omega_{j}$

的平均损失为

$r_{j}(x)=\sum_{k=1}^{W} L_{k j} p\left(\omega_{k} / x\right)$

上式可写为

$r_{j}(\boldsymbol{x})=\sum_{k=1}^{W} L_{k j} p\left(x / \omega_{k}\right) P\left(\omega_{k}\right)$

高斯模式类的贝叶斯分类器

一维情况下，贝叶斯决策函数形式为：

$\mathrm{d}_{\mathrm{j}}(\mathrm{x})=\mathrm{p}\left(\mathrm{x} / \omega_{\mathrm{j}}\right) \mathrm{P}\left(\omega_{\mathrm{j}}\right)=\frac{1}{\sqrt{2 \pi} \sigma_{\mathrm{j}}} \mathrm{e}^{-\frac{\left(\mathrm{x}-\mathrm{m}_{\mathrm{j}}\right)^{2}}{2 \sigma_{\mathrm{j}}^{2}}} \mathrm{P}\left(\omega_{\mathrm{j}}\right), \quad \mathrm{j}=1,2$

在n维情形下，第j个模式类中的向量的高斯密度为

$p\left(\boldsymbol{x} / \omega_{j}\right)=\frac{1}{(2 \pi)^{n / 2}\left|C_{j}\right|^{1 / 2}} \mathrm{e}^{-\frac{1}{2}\left(x-m_{j}\right)^{\tau} C_{j}^{-1}\left(x-m_{j}\right)}$

图像识别小样本深度学习_决策函数_29

类

$\omega_{j}$

的贝叶斯决策函数为

$d_{j}(x)=p\left(x / \omega_{j}\right) P\left(\omega_{j}\right)_{c}$

。然而，由于高斯密度函数的指数形式，用这个决策函数的自然对数形式更为方便。

$d_{j}(\boldsymbol{x})=\ln \left[p\left(\boldsymbol{x} / \omega_{j}\right) P\left(\omega_{j}\right)\right]=\ln \left[p\left(\boldsymbol{x} / \omega_{j}\right)+\ln P\left(\omega_{j}\right)\right]$

整理后得到

$\mathrm{d}_{\mathrm{j}}(\boldsymbol{x})=\ln \mathrm{P}\left(\omega_{\mathrm{j}}\right)-\frac{1}{2} \ln \left|\boldsymbol{C}_{\mathrm{j}}\right|-\frac{1}{2}\left[\left(\boldsymbol{x}-\boldsymbol{m}_{\mathrm{j}}\right)^{\mathrm{T}} \boldsymbol{C}_{\mathrm{j}}^{-1}\left(\boldsymbol{x}-\boldsymbol{m}_{\mathrm{j}}\right)\right]$

式中j=1,2,...,W。表示高斯模式类在0-1损失函数下的贝叶斯决策函数，是超二次曲面。

如果所有的协方差矩阵都相等，则

$\boldsymbol{C}_{j}=\boldsymbol{C}, j=1,2, \cdots, W_{\circ}$

$\mathrm{d}_{\mathrm{j}}(\boldsymbol{x})=\ln \mathrm{P}\left(\omega_{\mathrm{j}}\right)+\boldsymbol{x}^{\mathrm{T}} \boldsymbol{C}^{-1} \boldsymbol{m}_{\mathrm{j}}-\frac{1}{2} \boldsymbol{m}_{\mathrm{j}}^{\mathrm{T}} \boldsymbol{C}^{-1} \boldsymbol{m}_{\mathrm{j}}$

这是一个线性决策函数（超平面），其中j=1,2,...,W。

另外，如果C=I，这里I是单位矩阵，且

$P\left(\omega_{j}\right)=1 / W, j=1,2, \cdots, W$

，则有

$d_{j}(\boldsymbol{x})=\boldsymbol{x}^{\mathrm{T}} \boldsymbol{m}_{j}-\frac{1}{2} \boldsymbol{m}_{j}^{\mathrm{T}} \boldsymbol{m}_{j} \quad j=1,2, \cdots, W$

12.2.3 神经网络

训练模式：用于估计参数（已知其所属的类）的模式
训练集：来自每个类的一组模式
学习或训练：使用训练集得到决策函数的过程

两个模式类的感知机

在这种最基本的形式中，感知机学习一个线性决策函数，该决策函数对分两个线性可分的训练集。装置的相应基于其输入的加权和，即

$d(\boldsymbol{x})=\sum_{i=1}^{n} w_{i} x_{i}+w_{n+1}$

这是一个与模式向量的分量有关的线性决策函数。由感知机实现的决策边界是通过令上式等于零得到的：

$\begin{array}{c} d(\boldsymbol{x})=\sum_{i=1}^{n} w_{i} x_{i}+w_{n+1}=0 \\ w_{1} x_{1}+w_{2} x_{2}+\cdots+w_{n} x_{n}+w_{n+1}=0 \end{array}$

若Wn+1=0，则超平面通过模式空间的原点。类似地，若wj=0，则超平面平行于xj轴。

图像识别小样本深度学习_图像识别小样本深度学习_40

训练算法

线性可分的类：用于求两个线性可分训练集的权重向量解的一种简单迭代算法如下：①令w(1)表示初始权重向量，它可能是任意选择的。②在第k步迭代中，如果且，则使用下式代替w(k)：式中c是一个整的修正增量。相反，如果则使用下式代替w(k): 否则保持w(k)不变。w(k+1)=w(k)
不可分的类：delta规则：在任何训练步骤都使得在实际相应与期望相应间的误差最小。准则函数：式中r是期望的响应。应逐步调整w，使得在r=wTy时求该函数的最小值。 α的选择控制着稳定性和收敛速度，实际上α的范围是0.1＜α＜1.0 最终delta修正算法的形式是：
多层前馈神经网络：由多层结构上相同的计算节点（神经元）排列而成，从而一层中的每个神经元的输出送到下一层的每个神经元的输入。将求和连接的输出映射为该装置的最终输出的函数，有时称为激活函数。 “S形”激活函数总为正，并且仅当激活元素的输入分别为负无穷或正无穷时，它才到达极限值0和1。