下载链接：NYU Depth Dataset V2 官网下载链接

NYU 数据集简介

看structdepth里的NYU Depth V2数据集

我的一些疑问以及c的解答，或许不正确，后序逐渐学习过程中再逐步修改完善。

1.官网解释

https://cs.nyu.edu/~silberman/datasets/nyu_depth_v2.html#raw_parts

使用的Raw Dataset

关于NYU Depth Dataset V2---c的解答_数据集

Output from the RGB camera (left) and depth camera (right). Missing values in the depth image are a result of (a) shadows caused by the disparity between the infrared emitter(红外发射源) and camera or (b) random missing or spurious values caused by specular or low albedo surfaces.

RGB相机(左)和深度相机(右)的输出。深度图像中的缺失值是由于(a)红外发射器和相机之间的差异引起的阴影或(b)镜面或低反照率表面引起的随机缺失或伪值。

The raw dataset contains the raw image and accelerometer dumps from the kinect. The RGB and Depth camera sampling rate lies between 20 and 30 FPS (variable over time). While the frames are not synchronized, the timestamps for each of the RGB, depth and accelerometer files are included as part of each filename and can be synchronized to produce a continuous video using the get_synched_frames.m function in the Toolbox.

原始数据集包含kinect的原始图像和加速度计转储。RGB和Depth相机采样率在20到30 FPS之间(随时间变化)。虽然帧没有同步，但每个RGB、深度和加速度计文件（三类文件）的时间戳都包含在每个文件名中，并且可以使用get_synched_frames进行同步以生成连续视频。m函数在工具箱。

The dataset is divided into different folders which correspond to each ’scene’ being filmed, such as ‘living_room_0012′ or ‘office_0014′. The file hierarchy（层次结构） is structured as follows:

【主要三类文件，层次结构】---RGB、Depth、accelerometer dumps.

/
../bedroom_0001/
../bedroom_0001/a-1294886363.011060-3164794231.dump
../bedroom_0001/a-1294886363.016801-3164794231.dump
                  ...
../bedroom_0001/d-1294886362.665769-3143255701.pgm
../bedroom_0001/d-1294886362.793814-3151264321.pgm
                  ...
../bedroom_0001/r-1294886362.238178-3118787619.ppm
../bedroom_0001/r-1294886362.814111-3152792506.ppm

Files that begin with the prefix(前缀) a- are the accelerometer dumps. These dumps are written to disk in binary and can be read with file get_accel_data.mex.

在NYU Depth V2数据集中，accelerometer dumps目录包含了来自Kinect传感器的加速度计数据。这些数据以二进制格式存储在一组dump文件中，每个文件对应于一个RGB-D视频序列。每个dump文件中的数据包含了从Kinect传感器中获取的X、Y和Z轴上的加速度计读数，以及读数对应的时间戳。

加速度计数据可以帮助研究人员更好地理解和分析RGB-D图像序列中的运动和变化，例如物体的运动轨迹、相机的移动轨迹等等。加速度计数据也可以与其他传感器数据进行融合，例如惯性导航系统（Inertial Navigation System, INS）数据，以进一步提高RGB-D图像序列的定位和姿态估计精度。

Files that begin with the prefix r- and d- are the frames from the RGB and depth cameras, respectively. Since no preprocessing has been performed, the raw depth images must be projected onto the RGB coordinate space into order to align the images.

PPM

  • "1295837599.492451"：表示图片的时间戳，即图片采集的时间。
  • "-3766417457"：表示图片的唯一标识符，用于区分不同的图片。
  • ".ppm"：表示文件的扩展名，表明这是一种PPM格式的图片文件。

通过这种方式命名图片文件，可以方便地管理和查找数据集中的图片文件。同时，由于每个图片都有唯一的标识符和时间戳，可以方便地对图片进行排序和筛选，以满足不同的训练和测试需求。


NYU Depth V2 数据集是一个广泛使用的深度估计数据集，由纽约大学（NYU）的计算机科学系和位于德国图宾根的马克思普朗克研究所联合创建。它包含了 1449 张室内场景图像和它们的深度图，用于训练和评估深度估计算法。此外，每张图像还带有物体标注和语义标注。

NYU Depth V2 数据集使用 HDF5 (Hierarchical Data Format Version 5) 格式来存储图像、深度图和标注信息，因为 HDF5 格式可以高效地存储大量数据，并且具有方便的数据访问和处理接口。同时，它还支持压缩、加密和并行访问等高级特性，因此非常适合大规模数据集的存储和处理。使用 HDF5 格式还可以避免由于文件过大而导致的读写速度下降和内存占用过高的问题。

nyu depth v2 数据集 raw部分是怎样的

NYU Depth V2数据集是一个室内RGB-D数据集，包含464个室内场景的视频和图像，涵盖了13个类别，包括书籍、墙壁、地板、天花板、椅子、柜子、屏幕、床、沙发、桌子、窗户、门和地毯。每个场景都包含深度图像和RGB图像。数据集提供了两种数据格式：RAW和PROCESSED。

在NYU Depth V2数据集的RAW格式中，每个场景包含4个文件夹：raw, rgb, depth和 label。其中raw文件夹包含了原始的Kinect数据流，包括彩色图像、深度图像和注册图像。RGB文件夹包含了JPEG格式的彩色图像，Depth文件夹包含了16位PNG格式的深度图像，label文件夹包含了每个像素的类别标签，标签共有13个类别。除了原始数据之外，数据集还提供了用于深度学习的数据增强技术，例如随机裁剪、随机翻转和颜色增强。

未完待续...