卷积
卷积如何操作
通过此变换之后，图像达到了平滑效果。我们可以把变换时所使用的函数称为卷积核。
卷积核就是图像处理时，给定输入图像，输入图像中一个小区域中像素加权平均后成为输出图像中的每个对应像素，其中权值由一个函数定义，这个函数称为卷积核。
例如：上述例子中卷积核为
[1，1，1；
1，1，1； * 1/9
1，1，1]
卷积定义
通常会将卷积核进行180度调整，即公式中H函数下标进行的相应操作。但是在实际使用时，由于训练得到的模型和待预测的模型判断方法一致，所以也可以不必进行卷积核调整。
任何的平移操作都可以使用卷积实现，还可以实现平滑、
卷积性质
性质 | 公式 |
叠加性 | filter(f1+f2)=filter(f1)+filter(f2) |
平移不变性 | filter(shift(f))=shift(filter(f)) |
交换律 | a* b=b* a |
结合律 | (a* b) c=a (b* c) |
分配律 | a* (b* c)=a* b + a* c |
标量 | ka* b=a* kb=k(a* b) |
边界填充
卷积操作后的图像要小于原图像，通过边界填充后，我们可以实现卷积前后图像大小不变。
常用填充方法：
1.常数填充（常用0填充）
2.拉伸
3.镜像
高斯卷积核
平均卷积核的缺点：卷积后的图像会产生一些水平和竖直方向的条状（振铃）。
解决方法：根据邻域像素与中心的远近程度分配权重，使用高斯卷积核。
概念及生成步骤
高斯卷积核可以有效抑制噪声，实现图像平滑。同时通过其堆叠及分解，可以用于减小卷积计算的复杂度。
参数设置
1.方差变化
2.尺寸变化
结论：
1.大方差或大尺寸卷积核平滑能力强。
2.小方差或小尺寸卷积核平滑能力弱。
3.经验法则：将卷积核半窗宽度设置为3 sigma，最后卷积模板尺寸为2*3 sigma +1。由此可知，卷积核模板尺寸应为奇数。
例如，标准差sigma为1，模板尺寸为7。
性质
特别是第二个和第三个性质，可以减少运算量，降低时间复杂度。
例如：用尺寸为m * m的卷积核卷积尺寸为n * n的图像，时间复杂度为O（n2m2），若采用核分离，时间复杂度为O(n2m)。
噪声
噪声分类
高斯噪声
使用大尺寸模板或者大方差卷积核减小高斯噪声，但是使用大方差又会对有用的信息进行平滑。
中值滤波
使用高斯卷积核无法很好地消除椒盐噪声和脉冲噪声，于是我们可以使用中值滤波器。
边缘提取
边缘：图像中亮度明显且急剧变化的点。
为什么要研究边缘？
1.获得编码图像中的语义及形状信息。
2.相对于像素表示，边缘表示显得更加紧凑。
边缘的分类
边缘检测
边缘导数
通过简化求导公式后，可以使用卷积核进行图像导数的求取。
梯度的模越大，是边缘的可能性就越大。
噪声的影响
当图像存在噪声时，我们需要先对图像进行平滑操作。以高斯噪声为例，需要先进行高斯卷积核处理，得到平滑图像后再求导。
以上操作需要做两次卷积，速度较慢。根据高斯卷积核的性质，我们可以进行高斯一阶偏导核的求取。
高斯一阶偏导
由于求取高斯一阶偏导模板的运算量小，所以相当于节省了一次卷积的计算量。
高斯一阶偏导核（模板）
参数中只有方差对其有影响。
若要关注细节信息，需要使用小方差；若只需粗密度的轮廓信息等，需要使用大方差。
高斯卷积核vs高斯一阶偏导核
因为高斯一阶偏导核的高对比度点的响应值大，所以可以识别出边缘。
Canny边缘检测器
若某个边较粗，可以进行非极大值抑制处理。
门限处理（门限：选择梯度的临界值）
双阈值
通过高门限得到高阈值边缘，通过低阈值得到低阈值边缘，但是低阈值边缘仅保留与高阈值边缘连接的区域。
处理步骤
1.使用高斯一阶偏导核卷积图像。
2.计算每个点的梯度幅值和方向。
3.非极大值抑制
**将宽的“边缘”细化至单个像素宽度。
4.连接与阈值（滞后）
**定义两个阈值：高、低
**使用高阈值开始边缘曲线，使用低阈值继续边缘曲线。
纹理表示
纹理分类
基于卷积核组的纹理表示方法
思路：利用卷积核组提取图像中的纹理基（基元）；利用基元统计信息来表示纹理。
分类任务原则
1.忽略基元位置
2.关注出现了哪种基元对应的纹理及基元出现的频率。
卷积核组的设计
1.卷积核类型（边缘、条形和点状）
2.卷积核尺度（3-6个）
3.卷积核方向（3个）
例：图像左上角的一个像素点可以由48维向量表示，若第三个值很大时，说明存在第三个卷积核组的基元。
（虽然每个像素点均由48维，但是仅有有限几个维度表示该像素点的特征，所以该向量是一个稀疏向量，可以进行压缩存储。）
