1.Mat基础
在计算机内存中，数字图像是已矩阵的形式保存的。OpenCV2中，数据结构Mat是保存图像像素信息的矩阵，它主要包含两部分：矩阵头和一个指向像素数据的矩阵指针。
矩阵头主要包含，矩阵尺寸、存储方法、存储地址和引用次数等。
矩阵头的大小是一个常数，不会随着图像的大小而改变，但是保存图像像素数据的矩阵则会随着图像的大小而改变，通常数据量会很大，比矩阵头大几个数量级。这样，在图像复制和传递过程中，主要的开销是由存放图像像素的矩阵而引起的。因此，OpenCV使用了引用次数，当进行图像复制和传递时，不再复制整个Mat数据，而只是复制矩阵头和指向像素矩阵的指针。例如：
cv::Mat a ; //创建矩阵头
a = cv::imread( "f:\\psb.jpg" ); //读入图像
cv::Mat b = a ; //复制
上面的a，b有各自的矩阵头，但是其矩阵指针指向同一个矩阵，也就是其中任何一个改变了矩阵数据都会影响另外一个。
那么，多个Mat共用一个矩阵数据，最后谁来释放矩阵数据呢？
这就是引用计数的作用，当Mat对象每被复制一次时，就会将引用计数加1，而每销毁一个Mat对象（共用同一个矩阵数据）时引用计数会被减1，当引用计数为0时，矩阵数据会被清理。
上图是Mat对象a，b共用一个矩阵，故其引用计数refcount为2.
但是有些时候仍然会需要复制矩阵数据本身（不只是矩阵头和矩阵指针），这时候可以使用clone 和copyTo方法。
cv::Mat c = a.clone();
cv::Mat d ;
a.copyTo(d);
上面代码中的c，d各自拥有自己的矩阵，改变自己的矩阵数据不会相互影响。
在使用Mat中，需要记住：
- OpenCV中的内存分配是自动完成的（不是特别指定的话）
- 使用OpenCV的C++ 接口时不需要考虑内存释放问题
- Mat的赋值运算和拷贝构造函数只会拷贝矩阵头，仍然共同同一个矩阵
- 如果要复制矩阵数据，可以使用clone和copyTo函数
2.Mat存储方法
Mat中矩阵的每个元素可以使用不同的数据类型，最小的数据类型是char，占用一个字节或者8位，可以是有符号的（0到255）或者是无符号的（-127到127）。在RGB颜色空间中，使用三个char类型可以表示1600万中颜色，但在图像处理的过程中有可能会使用到float或者double来表示图像的像素。
Mat的创建
构造函数
cv::Mat img(2,2,CV_8UC3,cv::Scalar(0,0,255));
上述代码创建了一个2行2列的矩阵，矩阵元素使用8位无符号char类型保存，具有3通道，每个像素的初始值是（0，0，255）
构造函数的前两个参数指定了矩阵的行和列
第三个参数指定矩阵元素的数据类型以及通道数，其指定规则如下：
CV_[The number of bits per item][Signed or Unsigned][TypePrefix]C[The channel number]
四部分分别指定：元素的大小，是有符号还是无符号，数据类型以及通道数
最后一个参数，Scalar是short型的vector，提供矩阵的初始化。
Create方法
该方法不能为矩阵设置初始值，只是在改变尺寸时为矩阵数据重新分配内存。使用方法：
img.create(4,4,CV_8UC(2));
创建了一个4行4列有2个通道的矩阵
MATLAB形式的初始化
cv::Mat e = cv::Mat::eye(4,4,CV_64F);
cv::Mat z = cv::Mat::ones(2,2,CV_32F);
cv::Mat o = cv::Mat::zeros(3,3,CV_8UC1);
Mat e是4行4列的对角矩阵
Mat z是2行2列的单位矩阵
Mat o是3行3列的零矩阵
小矩阵的初始化
对于小矩阵可以使用逗号分割的初始化函数
Mat c =(Mat_<double>(3,3)<<1,2,3,0,-1,0,4,5,6);
在对图像进行模板运算时，定义模板使用这种方法是很方便的。
3.Mat的输入输出
使用imread函数，向Mat对象中写入一个图像。
a = cv::imread("f:\\psb.jpg");//读入图像
imread的原型如下
cv::Mat imread(const string& filename,int flags=1)
filename指定要读取图像的位置
flags指定图像的颜色空间
flags > 0 3通道的彩色图像
flags = 0 灰度图像
flags < 0 不作改变
也可以有以下的枚举值
CV_LOAD_IMAGE_ANYDEPTH、
CV_LOAD_IMAGE_COLOR、
CV_LOAD_IMAGE_GRAYSCALE
使用imwrite函数，将Mat对象保存到指定的文件中。
imwrite的函数原型如下：
bool imwrite(const string& filename,InputArray img,constvector<int>& params=vector<int>())
filename，指定的文件
img 要保存的Mat对象
params 用来指定图像的保存编码方式。
使用filename的扩展名来指定图像的保存格式（.jpg .png .bmp），对于不同的图像保存类型，params是不同的值
- JPEG，params用来指定图像的质量（0到100），默认的是95. CV_IMWRITE_JPEG_QUALITY
- PNG，params用来指定图像的压缩级别（0到9），压缩级别越高图像占用的空间越小，保存图像所用的时间越久。默认值是3. CV_IMWRITE_PNG_COMPRESSION
- PPM,PGM,PBM，params是一个标记（0或者1），默认的是1.CV_IMWRITE_PXM_BINARY
或者是16位无符号（CV_16UC）的PNG,JPEG200或者TIFF图像） 单通道或者三通道的图像， 如果要保存的不是这样的图片，可以使用convertTo或者cvtColor来进行转变。
下面代码展示了如果使用imwrite向文件中写入一个4通道的png图像
void createAlphaMat(Mat &mat)
{
for(int i = 0 ; i < mat.rows ; i ++) {
for(int j = 0 ; j < mat.cols ; j ++) {
Vec4b &rgba = mat.at<Vec4b>(i,j);
rgba[0] = UCHAR_MAX ;
rgba[1] = saturate_cast<uchar>((float (mat.cols - j)) / ((float)mat.cols) * UCHAR_MAX);
rgba[2] = saturate_cast<uchar>((float (mat.rows - i)) / ((float)mat.rows) * UCHAR_MAX);
rgba[3] = saturate_cast<uchar>(0.5 * (rgba[1] + rgba[2]));
}
}
}
int main()
{
Mat mat(480,640,CV_8UC4);
createAlphaMat(mat);
vector<int> compression_params ;
compression_params.push_back(CV_IMWRITE_PNG_COMPRESSION);
compression_params.push_back(9);
imwrite("alpha.png",mat,compression_params);
return 0;
}
4.Mat的显示
OpenCV提供了用以窗口的形式显示图片的方法，代码如下：
Mat img = imread("f:\psb.jpg");
const string name ="Hu";
namedWindow(name);
imshow(name,img);
waitKey();
OpenCV2:Mat属性type，depth，step
在OpenCV2中Mat类无疑使占据着核心地位的，前段时间初学OpenCV2时对Mat类有了个初步的了解，见OpenCV2:Mat初学。这几天试着用OpenCV2实现了图像缩小的两种算法：基于等间隔采样和基于局部均值的图像缩小，发现对Mat中的数据布局和一些属性的认知还是懵懵懂懂，本文对Mat的一些重要属性和数据布局做一个总结。
Mat的作用
The class Mat represents an n-dimensional dense numerical single-channel or multi-channel array. It can be used to store real or complex-valued vectors and matrices, grayscale or color images, voxel volumes, vector fields, point clouds, tensors, histograms (though, very high-dimensional histograms may be better stored in a SparseMat
上面的一段话引用自官方的文档，Mat类用于表示一个多维的单通道或者多通道的稠密数组。能够用来保存实数或复数的向量、矩阵，灰度或彩色图像，立体元素，点云，张量以及直方图（高维的直方图使用SparseMat保存比较好）。简而言之，Mat就是用来保存多维的矩阵的。
Mat的常见属性
- data uchar型的指针。Mat类分为了两个部分:矩阵头和指向矩阵数据部分的指针，data就是指向矩阵数据的指针。
- dims 矩阵的维度，例如5*6矩阵是二维矩阵，则dims=2，三维矩阵dims=3.
- rows 矩阵的行数
- cols 矩阵的列数
- size 矩阵的大小，size(cols,rows),如果矩阵的维数大于2，则是size(-1,-1)
- channels 矩阵元素拥有的通道数，例如常见的彩色图像，每一个像素由RGB三部分组成，则channels = 3
下面的几个属性是和Mat中元素的数据类型相关的。
- type
表示了矩阵中元素的类型以及矩阵的通道个数，它是一系列的预定义的常量，其命名规则为CV_(位数）+（数据类型）+（通道数）。具体的有以下值：
CV_8UC1 | CV_8UC2 | CV_8UC3 | CV_8UC4 |
CV_8SC1 | CV_8SC2 | CV_8SC3 | CV_8SC4 |
CV_16UC1 | CV_16UC2 | CV_16UC3 | CV_16UC4 |
CV_16SC1 | CV_16SC2 | CV_16SC3 | CV_16SC4 |
CV_32SC1 | CV_32SC2 | CV_32SC3 | CV_32SC4 |
CV_32FC1 | CV_32FC2 | CV_32FC3 | CV_32FC4 |
CV_64FC1 | CV_64FC2 | CV_64FC3 | CV_64FC4 |
- 这里U（unsigned integer）表示的是无符号整数，S（signed integer）是有符号整数，F（float）是浮点数。
例如：CV_16UC2，表示的是元素类型是一个16位的无符号整数，通道为2.
C1，C2，C3，C4则表示通道是1,2,3,4
type一般是在创建Mat对象时设定，如果要取得Mat的元素类型，则无需使用type，使用下面的depth - depth
矩阵中元素的一个通道的数据类型，这个值和type是相关的。例如 type为 CV_16SC2，一个2通道的16位的有符号整数。那么，depth则是CV_16S。depth也是一系列的预定义值，
将type的预定义值去掉通道信息就是depth值:
CV_8U CV_8S CV_16U CV_16S CV_32S CV_32F CV_64F - elemSize 矩阵一个元素占用的字节数，例如：type是CV_16SC3，那么elemSize = 3 * 16 / 8 = 6 bytes
- elemSize1 矩阵元素一个通道占用的字节数，例如：type是CV_16CS3，那么elemSize1 = 16 / 8 = 2 bytes = elemSize / channels
下面是一个示例程序，具体说明Mat的各个属性：
Mat img(3, 4, CV_16UC4, Scalar_<uchar>(1, 2, 3, 4));
cout << img << endl;
cout << "dims:" << img.dims << endl;
cout << "rows:" << img.rows << endl;
cout << "cols:" << img.cols << endl;
cout << "channels:" << img.channels() << endl;
cout << "type:" << img.type() << endl;
cout << "depth:" << img.depth() << endl;
cout << "elemSize:" << img.elemSize() << endl;
cout << "elemSize1:" << img.elemSize1() << endl;
首先创建了一个3*4的具有4个通道的矩阵，其元素类型是CV_16U。Scalar_是一个模板向量，用来初始化矩阵的每个像素，因为矩阵具有4个通道，Scalar_有四个值。其运行结果： 
例如，CV_16UC4，CV_8U是一些预定义的常量。
step
Mat中的step是一个MStep的一个实例。其声明如下：
struct CV_EXPORTS MStep
{
MStep();
MStep(size_t s);
const size_t& operator[](int i) const;
size_t& operator[](int i);
operator size_t() const;
MStep& operator = (size_t s);
size_t* p;
size_t buf[2];
protected:
MStep& operator = (const MStep&);
};
从其声明中可以看出，MStep和size_t有比较深的关系。用size_t作为参数的构造函数和重载的赋值运算符
MStep(size_t s);
MStep& operator = (size_t s);
向size_t的类型转换以及重载的[ ]运算符返回size_t
const size_t& operator[](int i) const;
size_t& operator[](int i);
size_t的数组以及指针
size_t* p;
size_t buf[2];那么size_t又是什么呢，看代码
typedef unsigned int size_t;size_t就是无符号整数。
再看一下MStep的构造函数，就可以知道其究竟保存的是什么了。
inline Mat::MStep::MStep(size_t s) { p = buf; p[0] = s; p[1] = 0; }
从MStep的定义可以知道，buff是一个size_t[2]，而p是size_t *，也就是可以把MStep看做一个size_t[2]。那么step中保存的这个size_t[2]和Mat中的数据有何种关系呢。
step[0]是矩阵中一行元素的字节数。
step[1]是矩阵中一个元素的自己数，也就是和上面所说的elemSize相等。
上面说到，Mat中一个uchar* data指向矩阵数据的首地址，而现在又知道了每一行和每一个元素的数据大小，就可以快速的访问Mat中的任意元素了。下面公式：
step1
规整化的step，值为step / elemSize1。 定义如下：
inline size_t Mat::step1(int i) const { return step.p[i]/elemSize1(); }
仍以上例代码中定义的img为例，来看下step,step1具体的值： 
step[1] 是一个元素所占的字节数，img的一个元素具有4个通道，故：4 * 16 / 8 = 2
step1 = step / elemSize1，elemSize1是元素的每个通道所占的字节数。
N维的step(N > 2)
上面分析step是一个size_t[2]，实际不是很正确，正确的来说step应该是size_t[dims]，dims是Mat的维度，所以对于上面的二维的Mat来说，step是size_t[2]也是正确的。
下面就对三维的Mat数据布局以及step（维度大于3的就算了吧）。
上图引用自http://ggicci.blog.163.com/blog/static/210364096201261052543349/ 搜集资料时发现了这幅图，一切就变的简单了
三维的数据在Mat中是按面来存储的，上图描述的很清晰，这里不再多说。
上面言道，step是一个size_t[dims]，dims是维度。so，三维的step就是size_t[3]。其余的不多说了，看图就有了。下面来创建一个三维的Mat，实际看看
int dims[3] = { 3, 3, 3 };
Mat src(3, dims, CV_16SC2, Scalar_<short>(1,2));
cout << "step[0]:" << src.step[0] << endl;
cout << "step[1]:" << src.step[1] << endl;
cout << "step[2]:" << src.step[2] << endl;
首先创建一个3*3*3，depth为CV_16S的两通道的Mat
step[0]是一个数据面的大小 3 * 3 * (16 / 8 ) * 2 = 36
step[1]是一行数据的大小 3 * (16 / 8 ) * 2 = 12
step[2]是一个元素的大小 2 * (16 / 8) = 4 
PS: 三维的Mat 不能使用 <<运算符进行输出的。
