1.KITTI数据集概述

KITTI数据集由德国卡尔斯鲁厄理工学院和丰田美国技术研究院联合创办，是目前国际上非常流行的自动驾驶场景下的计算机视觉算法评测数据集。该数据集用于评测立体图像(stereo)，光流(optical flow)，视觉测距(visual odometry)，3D物体检测(object detection)和3D跟踪(tracking) 等计算机视觉技术在车载环境下的性能。KITTI包含市区、乡村和高速公路等场景采集的真实图像数据，每张图像中最多达15辆车和30个行人，还有各种程度的遮挡与截断。3D目标检测数据集由7481个训练图像和7518个测试图像以及相应的点云数据组成，包括总共80256个标记对象。整个数据集由389对立体图像和光流图，39.2 km视觉测距序列以及超过200k个 3D标注物体的图像组成[1] ，以10Hz的频率采样及同步。总体上看，原始数据集被分类为Road，City，Residential，Campus 和Person（“道路”，“城市”，“住宅”，“校园”和“人” ）。对于3D物体检测，label细分为car， van， truck， pedestrian，pedestrian(sitting)， cyclist，tram以及misc（汽车，货车，卡车，行人，行人（坐），骑自行车的人，电车以及其他 ）组成。

下图红色框标记的为我们需要的数据，分别是彩色图像数据（12GB）、点云数据（29GB）、相机矫正数据（16MB）、标签数据（5MB）。其中彩色图像数据、点云数据、相机矫正数据均包含training（7481）和testing（7518）两个部分，标签数据只有training数据。注意由于这里下载的是训练和评估用的数据，因此它们不是连贯采集的数据，而是被随机排列的，这是为了用于训练神经网络。

kitti数据集与semantickitti不一致_数据

2.数据采集平台

如图-1所示，KITTI数据集的数据采集平台装配有2个灰度摄像机，2个彩色摄像机，一个Velodyne 64线3D激光雷达，4个光学镜头，以及1个GPS导航系统。具体的传感器参数如下[2] ：

  • 2 × PointGray Flea2 grayscale cameras (FL2-14S3M-C), 1.4 Megapixels, 1/2” Sony ICX267 CCD, global shutter
  • 2 × PointGray Flea2 color cameras (FL2-14S3C-C), 1.4 Megapixels, 1/2” Sony ICX267 CCD, global shutter
  • 4 × Edmund Optics lenses, 4mm, opening angle ∼ 90◦, vertical opening angle of region of interest (ROI) ∼ 35◦
  • 1 × Velodyne HDL-64E rotating 3D laser scanner, 10 Hz, 64 beams, 0.09 degree angular resolution, 2 cm distance accuracy, collecting ∼ 1.3 million points/second, field of view: 360◦ horizontal, 26.8◦vertical, range: 120 m
  • 1 × OXTS RT3003 inertial and GPS navigation system, 6 axis, 100 Hz, L1/L2 RTK, resolution: 0.02m / 0.1◦

    图-1 数据采集平台

如图-2所示为传感器的配置平面图。为了生成双目立体图像，相同类型的摄像头相距54cm安装。由于彩色摄像机的分辨率和对比度不够好，所以还使用了两个立体灰度摄像机，它和彩色摄像机相距6cm安装。为了方便传感器数据标定，规定坐标系方向如下[2] ：

  • Camera： x = right, y = down, z = forward
  • Velodyne： x = forward, y = left, z = up
  • GPS/IMU： x = forward, y = left, z = up

    图-2 传感器设置

物体坐标系示意图

kitti数据集与semantickitti不一致_数据集_02

3.Dataset详述

3.1 image文件

image文件以8位PNG格式存储，图-3展示了KITTI数据集的典型样本，分为 ’Road’, ’City’, ’Residential’, ’Campus’ 和’Person’五类。原始数据采集于2011年的5天，共有180GB数据。

kitti数据集与semantickitti不一致_计算机视觉_03


3.2 velodyne文件

velodyne文件是激光雷达获取的点云数据（绕其垂直轴（逆时针）连续旋转），以“000001.bin”文件为例，内容如下：

7b14 4642 1058 b541 9643 0340 0000 0000
46b6 4542 1283 b641 3333 0340 0000 0000
4e62 4042 9643 b541 b072 0040 cdcc 4c3d
8340 3f42 08ac b541 3bdf ff3f 0000 0000
e550 4042 022b b841 9cc4 0040 0000 0000
				   .
				   .
				   .

点云数据以浮点二进制文件格式存储，每行包含8个数据，每个数据由四位十六进制数表示（浮点数），每个数据通过空格隔开。一个点云数据由四个浮点数数据构成，分别表示点云的x、y、z、r（强度 or 反射值），点云的存储方式如下表所示：

kitti数据集与semantickitti不一致_数据_04


3.3 calib文件

calib文件是相机、雷达、惯导等传感器的矫正数据。以“000001.txt”文件为例，内容如下：

P0: 7.215377000000e+02 0.000000000000e+00 6.095593000000e+02 0.000000000000e+00 0.000000000000e+00 7.215377000000e+02 1.728540000000e+02 0.000000000000e+00 0.000000000000e+00 0.000000000000e+00 1.000000000000e+00 0.000000000000e+00
P1: 7.215377000000e+02 0.000000000000e+00 6.095593000000e+02 -3.875744000000e+02 0.000000000000e+00 7.215377000000e+02 1.728540000000e+02 0.000000000000e+00 0.000000000000e+00 0.000000000000e+00 1.000000000000e+00 0.000000000000e+00
P2: 7.215377000000e+02 0.000000000000e+00 6.095593000000e+02 4.485728000000e+01 0.000000000000e+00 7.215377000000e+02 1.728540000000e+02 2.163791000000e-01 0.000000000000e+00 0.000000000000e+00 1.000000000000e+00 2.745884000000e-03
P3: 7.215377000000e+02 0.000000000000e+00 6.095593000000e+02 -3.395242000000e+02 0.000000000000e+00 7.215377000000e+02 1.728540000000e+02 2.199936000000e+00 0.000000000000e+00 0.000000000000e+00 1.000000000000e+00 2.729905000000e-03
R0_rect: 9.999239000000e-01 9.837760000000e-03 -7.445048000000e-03 -9.869795000000e-03 9.999421000000e-01 -4.278459000000e-03 7.402527000000e-03 4.351614000000e-03 9.999631000000e-01
Tr_velo_to_cam: 7.533745000000e-03 -9.999714000000e-01 -6.166020000000e-04 -4.069766000000e-03 1.480249000000e-02 7.280733000000e-04 -9.998902000000e-01 -7.631618000000e-02 9.998621000000e-01 7.523790000000e-03 1.480755000000e-02 -2.717806000000e-01
Tr_imu_to_velo: 9.999976000000e-01 7.553071000000e-04 -2.035826000000e-03 -8.086759000000e-01 -7.854027000000e-04 9.998898000000e-01 -1.482298000000e-02 3.195559000000e-01 2.024406000000e-03 1.482454000000e-02 9.998881000000e-01 -7.997231000000e-01

文件中每一行代表一个参数名，冒号后面是参数矩阵，具体如下：

  • 0、1、2、3 代表相机的编号，0表示左边灰度相机，1右边灰度相机，2左边彩色相机，3右边彩色相机。 P0, P1, P2, P3 分别代表对应的相机内参矩阵, 大小为 3x4：

kitti数据集与semantickitti不一致_数据集_05


fu 和 fv 是指相机的焦距;

cu 和 cv 是指主点偏移： 相机的主轴是与图像平面垂直且穿过真空的线，它与图像平面的焦点称为主点。 主点偏移就是主点位置相对于图像平面(投影面)的位置。上图中，增加x0的值相当于把针孔向右移动，等价将投影面向左移动同时保持针孔位置不变。 bi 是指第i个摄像头到0号摄像头的距离偏移（x方向）。

kitti数据集与semantickitti不一致_深度学习_06


R0_rect 表示0号相机的修正矩阵。在实际计算时，需要将该3x3的矩阵扩展为4x4的矩阵，方法为在第四行和第四列添加全为0的向量，并且将（4， 4）的索引值设为1。

kitti数据集与semantickitti不一致_计算机视觉_07


包含了旋转矩阵 R 和 平移向量 t.

kitti数据集与semantickitti不一致_3D_08


在实际计算时，需要将该3x4的矩阵扩展为4x4的矩阵，方法为增加第四行向量[0,0,0,1]。这个矩阵其实包括了两个部分，其一是3x3的旋转矩阵，其二是1x3的平移向量。

kitti数据集与semantickitti不一致_深度学习_09


kitti数据集与semantickitti不一致_3D_10


包含了旋转矩阵 R 和 平移向量 t，与Tr_velo_to_cam类似。

要将Velodyne坐标中的点x投影到左侧的彩色图像（P2）中y：
使用公式：y = P2 * R0_rect *Tr_velo_to_cam * x

将Velodyne坐标中的点投影到右侧的彩色图像中：
使用公式：y = P3 * R0_rect *Tr_velo_to_cam * x

Tr_velo_to_cam * x ：是将Velodyne坐标中的点x投影到编号为0的相机（参考相机）坐标系中

R0_rect *Tr_velo_to_cam * x ：是将Velodyne坐标中的点x投影到编号为0的相机（参考相机）坐标系中，再修正

P2 * R0_rect *Tr_velo_to_cam * x ：是将Velodyne坐标中的点x投影到编号为0的相机（参考相机）坐标系中，再修正，然后投影到编号为2的相机（左彩色相机）

注意：
P2 (标号为2的摄像机的内参矩阵，只和相机内部参数有关，比如焦距和光心位置)
R0_rect（相机0的矫正旋转矩阵）
Tr_velo_to_cam（点云到相机的外参矩阵）

通过使用校准文件夹中的3x4投影矩阵，可以将相机坐标系中的坐标投影到图像中，对于提供图像的左侧彩色相机，必须使用P2。rotation_y和alpha之间的区别在于rotation_y直接在相机坐标中给出，而alpha也会考虑从相机中心到物体中心的矢量，以计算物体相对于相机的相对方向。 例如，沿着摄像机坐标系的X轴面向的汽车，无论它位于X / Z平面（鸟瞰图）中的哪个位置，它的rotation_y都为 0，而只有当此车位于相机的Z轴上时α才为零，当此车从Z轴移开时，观察角度α将会改变。

3.4 label文件

label文件是KITTI中object的标签和评估数据，以“000001.txt”文件为例，包含样式如下：

Truck 0.00 0 -1.57 599.41 156.40 629.75 189.25 2.85 2.63 12.34 0.47 1.49 69.44 -1.56
Car 0.00 0 1.85 387.63 181.54 423.81 203.12 1.67 1.87 3.69 -16.53 2.39 58.49 1.57
Cyclist 0.00 3 -1.65 676.60 163.95 688.98 193.93 1.86 0.60 2.02 4.59 1.32 45.84 -1.55
DontCare -1 -1 -10 503.89 169.71 590.61 190.13 -1 -1 -1 -1000 -1000 -1000 -10
DontCare -1 -1 -10 511.35 174.96 527.81 187.45 -1 -1 -1 -1000 -1000 -1000 -10
DontCare -1 -1 -10 532.37 176.35 542.68 185.27 -1 -1 -1 -1000 -1000 -1000 -10
DontCare -1 -1 -10 559.62 175.83 575.40 183.15 -1 -1 -1 -1000 -1000 -1000 -10
Truck 0.00 0 -1.57 599.41 156.40 629.75 189.25 2.85 2.63 12.34 0.47 1.49 69.44 -1.56
Car 0.00 0 1.85 387.63 181.54 423.81 203.12 1.67 1.87 3.69 -16.53 2.39 58.49 1.57
Cyclist 0.00 3 -1.65 676.60 163.95 688.98 193.93 1.86 0.60 2.02 4.59 1.32 45.84 -1.55
DontCare -1 -1 -10 503.89 169.71 590.61 190.13 -1 -1 -1 -1000 -1000 -1000 -10
DontCare -1 -1 -10 511.35 174.96 527.81 187.45 -1 -1 -1 -1000 -1000 -1000 -10
DontCare -1 -1 -10 532.37 176.35 542.68 185.27 -1 -1 -1 -1000 -1000 -1000 -10
DontCare -1 -1 -10 559.62 175.83 575.40 183.15 -1 -1 -1 -1000 -1000 -1000 -10

每一行代表一个目标object，每一行都有16列分别表示不同的含义，具体如下：

  • 第1列（字符串）：代表物体类别（type）
    总共有9类，分别是：Car、Van、Truck、Pedestrian、Person_sitting、Cyclist、Tram、Misc、DontCare。其中DontCare标签表示该区域没有被标注，比如由于目标物体距离激光雷达太远。为了防止在评估过程中（主要是计算precision），将本来是目标物体但是因为某些原因而没有标注的区域统计为假阳性(false positives)，评估脚本会自动忽略DontCare区域的预测结果。
  • 第2列（浮点数）：代表物体是否被截断（truncated）
    数值在0（非截断）到1（截断）之间浮动，truncated表示指离开图像边界对象的程度。
  • 第3列（整数）：代表物体是否被遮挡（occluded）
    整数0、1、2、3分别表示被遮挡的程度。0：完全可见 1：小部分遮挡 2：大部分遮挡 3：完全遮挡（unknown）
  • 第4列（弧度数）：物体的观察角度（alpha）
    取值范围为：-pi ~ pi（单位：rad），它表示在【相机坐标系】下，以相机原点为中心，相机原点到物体中心的连线为半径，将物体绕相机y轴旋转至相机z轴，此时物体方向与相机x轴的夹角，如下图所示：3D物体的观察角和方位角 。

r_y + pi/2 -theta = alpha +pi/2（即图中紫色的角是相等的）
所以alpha = r_y - theta

  • 第5~8列（浮点数）：物体的2D边界框大小（bbox）
    四个数分别是xmin、ymin、xmax、ymax（单位：pixel），表示2维边界框的左上角和右下角的坐标。
  • 第9~11列（浮点数）：3D物体的尺寸（dimensions）
    分别是高、宽、长（单位：米）
  • 第12-14列（浮点数）：3D物体的位置（location）
    分别是x、y、z（单位：米），特别注意的是，这里的xyz是在【相机坐标系】下3D物体的中心点位置。
  • 第15列（弧度数）：3D物体的空间方向（rotation_y）
    取值范围为：-pi ~ pi（单位：rad），它表示，在照【相机坐标系】下，物体的全局方向角（物体前进方向与相机坐标系x轴的夹角），即上图所示的r_y角。
  • 第16列（浮点数）：检测的置信度（score）
    检测的置信度 ， 仅用于结果：浮点，p / r曲线所需，越高越好。要特别注意的是，这个数据只在测试集的数据中有。

以 Car（object）为例，详解：

kitti数据集与semantickitti不一致_数据_11

原始采集数据

如果神经网络训练好了，你想看看它跑在连续数据帧上的效果，可以在raw data页面下载连贯数据。

kitti数据集与semantickitti不一致_计算机视觉_12