Ray Casting 光线投射

Open3D 中的类RaycastingScene提供了基本的光线投射功能。在本教程中，我们将展示如何创建场景并执行光线交叉测试。您还可以使用RaycastingScene从网格（例如 CAD 模型）创建虚拟点云。

Initialization

首先用网格初始化RaycastingScene.

# Load mesh and convert to open3d.t.geometry.TriangleMesh
cube = o3d.geometry.TriangleMesh.create_box().translate([0, 0, 0])
cube = o3d.t.geometry.TriangleMesh.from_legacy(cube)

# Create a scene and add the triangle mesh
scene = o3d.t.geometry.RaycastingScene()
cube_id = scene.add_triangles(cube)

add_triangles()返回添加的几何图形的 ID。此 ID 可用于识别光线击中的网格。

print(cube_id)

Casting rays 投射光线

我们现在可以生成具有原点和方向的6D矢量射线。

# We create two rays:
# The first ray starts at (0.5,0.5,10) and has direction (0,0,-1).
# The second ray start at (-1,-1,-1) and has direction (0,0,-1).
rays = o3d.core.Tensor([[0.5, 0.5, 10, 0, 0, -1], [-1, -1, -1, 0, 0, -1]],
                       dtype=o3d.core.Dtype.Float32)

ans = scene.cast_rays(rays)

结果包含有关与场景中几何图形的可能交集的信息。

print(ans.keys())

t_hit是到交叉路口的距离。该单位由射线方向的长度定义。如果没有交集，则为inf

geometry_ids给出了光线击中的几何图形的 id。如果未命中几何图形，则为RaycastingScene.INVALID_ID

primitive_ids是命中的三角形的三角形索引，或者RaycastingScene.INVALID_ID

primitive_uvs是三角形内交点的重心坐标。

primitive_normals是命中三角形的法线。

我们可以从t_hit和geometry_ids看到，第一条光线确实击中了网格，但第二条光线错过了。

print(ans['t_hit'].numpy(), ans['geometry_ids'].numpy())

Creating images

现在，我们创建一个包含多个对象的场景

# Create meshes and convert to open3d.t.geometry.TriangleMesh
cube = o3d.geometry.TriangleMesh.create_box().translate([0, 0, 0])
cube = o3d.t.geometry.TriangleMesh.from_legacy(cube)
torus = o3d.geometry.TriangleMesh.create_torus().translate([0, 0, 2])
torus = o3d.t.geometry.TriangleMesh.from_legacy(torus)
sphere = o3d.geometry.TriangleMesh.create_sphere(radius=0.5).translate(
    [1, 2, 3])
sphere = o3d.t.geometry.TriangleMesh.from_legacy(sphere)

scene = o3d.t.geometry.RaycastingScene()
scene.add_triangles(cube)
scene.add_triangles(torus)
_ = scene.add_triangles(sphere)

RaycastingScene允许组织具有任意数量的前导尺寸的光线。例如，我们可以生成一个形状为[h,w,6]的数组来组织光线以创建图像。该类还提供了用于为针孔相机创建光线的帮助器函数。下面创建具有形状[480,640,6]的射线张量。

rays = o3d.t.geometry.RaycastingScene.create_rays_pinhole(
    fov_deg=90,
    center=[0, 0, 2],
    eye=[2, 3, 0],
    up=[0, 1, 0],
    width_px=640,
    height_px=480,
)
# We can directly pass the rays tensor to the cast_rays function.
ans = scene.cast_rays(rays)

输出张量保留了光线的形状，我们可以直接使用matplotlib可视化命中距离以获得深度图。

import matplotlib.pyplot as plt
plt.imshow(ans['t_hit'].numpy())
 plt.show()#如果没有显示图片，需要加这一句。

此外，我们可以绘制其他结果以可视化原始法线，…

# use abs to avoid negative values
plt.imshow(np.abs(ans['primitive_normals'].numpy()))
plt.show()
plt.imshow(ans['geometry_ids'].numpy(), vmax=3)
plt.show()

Creating a virtual point cloud

我们还可以使用命中距离来计算交叉点的 XYZ 坐标。这些是通过将虚拟3D传感器放置在射线原点而获得的点。

hit = ans['t_hit'].isfinite()
points = rays[hit][:,:3] + rays[hit][:,3:]*ans['t_hit'][hit].reshape((-1,1))
pcd = o3d.t.geometry.PointCloud(points)
# Press Ctrl/Cmd-C in the visualization window to copy the current viewpoint
o3d.visualization.draw_geometries([pcd.to_legacy()],
                                  front=[0.5, 0.86, 0.125],
                                  lookat=[0.23, 0.5, 2],
                                  up=[-0.63, 0.45, -0.63],
                                  zoom=0.7)
# o3d.visualization.draw([pcd]) # new API