使用Python1.计算机视觉坐标系在开始之前，了解计算机视觉中的传统坐标系很重要。其次是Open3D和MicrosoftKinect传感器。在计算机视觉中，图像由独立的二维坐标系表示，其中x轴从左指向右，y轴指向上下。对于相机，3D坐标系的原点在相机的焦点处，x轴指向右侧，y轴指向下方，z轴指向前方。计算机视觉坐标系统我们从导入所需的Python库开始：=o3d.io.read_point_cloud("data/depth_2_pcd.ply")#创建3D坐标系：origin=o3d.geometry.TriangleMesh.create_coordinate_frame(size=0.5)#要绘制的几何图形：geometries=[pcd,origin]#可视化:o3d.visualization.draw_geometries(geometries)坐标系原点显示的点云。蓝色箭头是Z轴，红色箭头是X轴，绿色箭头是Y轴。可以看出，点云在与Open3D坐标系相同的坐标系中表示。现在，让我们获取每个轴的具有最小值和最大值的点：#获取每个轴x、y和z的最大值和最小值：x_max=max(pcd.points,key=lambdax:x[0])y_max=max(pcd.points,key=lambdax:x[1])z_max=max(pcd.points,key=lambdax:x[2])x_min=min(pcd.points,key=lambdax:x[0])y_min=min(pcd.points,key=lambdax:x[1])z_min=min(pcd.points,key=lambdax:x[2])我们可以打印它们，但为了更好的可视化，我们在每个点位置创建一个球体。默认情况下，Open3D在原点位置创建3D几何体：要将球体移动到给定位置，需要进行平移变换。在下面的示例中，球体由向量[1,1,1]平移：让我们回到我们的示例并为每个球体分配一种颜色。对于每个位置，我们创建一个球体并将其平移到该位置。然后，我们分配正确的颜色，最后将其添加到显示中。#颜色：红色=[1.,0.,0.]绿色=[0.,1.,0.]蓝色=[0.,0.,1.]黄色=[1.,1.,0.]MAGENTA=[1.,0.,1.]CYAN=[0.,1.,1.]positions=[x_max,y_max,z_max,x_min,y_min,z_min]colors=[RED,GREEN,BLUE,MAGENTA,YELLOW,CYAN]foriinrange(len(positions)):#创建一个球体网格：sphere=o3d.geometry.TriangleMesh.create_sphere(radius=0.05)#移动到点位置：sphere.translate(np.asarray(positions[i]))#添加颜色：sphere.paint_uniform_color(np.asarray(colors[i]))#计算顶点或面的法线：sphere.compute_vertex_normals()#添加到几何列表以便稍后显示：geometries.append(sphere)#Display:o3d.visualization.draw_geometries(geometries)实际上，y轴代表点的高度：在现实世界中，最高的球是黄色的，最低的是绿色的。但是，由于y轴向下，黄色球体的值最小，绿色球体的值最大。另一个有趣的球体是原点处的青色球体。我们在上一篇教程中提到过，深度值为0的像素是噪声点，所以原点处的点就是这些噪声像素计算出来的点（当z=0时，则x=0，y=0）。2.地面检测既然我们已经展示了一些要点，那么地面检测呢？在前面的示例中，绿色球体在地面上。准确的说，它的中心对应的y轴上的最高点就是一个地点。假设对于地面检测，我们将所有具有y_max的点的颜色更改为绿色如果显示点云，您会注意到并非所有地面点都是绿色的。事实上，只有前一个绿色球体中心对应的一个点是绿色的。这是由于深度相机的精度和噪声。为了克服这个限制，我们需要添加一个阈值，以便所有具有y坐标[y_max-threshold,y_max]的点都被视为地面点。为此，在获得y_max后，我们检查每个点的y坐标是否在此区间内，然后将其颜色设置为绿色。最后更新点云的颜色属性并显示结果。#定义一个阈值：THRESHOLD=0.075#获取沿y轴的最大值：y_max=max(pcd.points,key=lambdax:x[1])[1]#获取要更新的原始点颜色：pcd_colors=np.asarray(pcd.colors)#Numberofpoints:n_points=pcd_colors.shape[0]#updatecolor:foriinrange(n_points):#如果当前点是搁浅点：ifpcd.points[i][1]>=y_max-THRESHOLD:pcd_colors[i]=GREEN#coloritgreenpcd.colors=o3d.utility.Vector3dVector(pcd_colors)#Display:o3d.visualization.draw_geometries([pcd,origin])在这个例子中，我们只将代表地面的点涂成绿色。在现实世界的应用中，地面被提取出来以定义可行走区域，例如机器人或视障系统，或者在其上放置物体，例如室内设计系统。它也可以被移除，因此剩余的点可以被分割或分类，就像在场景理解和目标检测系统中一样。3.有组织的点云我们知道点云被定义为一组3D点。集合是无序结构，因此集合所表示的点云称为无序点云。类似于RGB矩阵，有组织的点云是一个二维矩阵，具有3个通道，分别表示点的x、y和z坐标。矩阵结构提供了相邻点之间的关系，从而降低了一些算法的时间复杂度，例如最近邻算法。举个例子，我们正在写一篇研究论文，我们想以图表的形式展示我们的检测算法的结果。我们既可以对点云进行截图，也可以将结果显示在深度图上，如下图所示。在我看来，第二种选择是最好的。在这种情况下，需要一个有组织的点云来保存深度像素的位置。左图：3D可视化的屏幕截图右图：深度图像的结果让我们根据之前的深度图像创建一个有组织的点云。我们首先导入相机参数。我们还导入深度图像并将其转换为3通道灰度图像，以便我们可以将地面像素着色为绿色：importimageio.v3asiioimportnumpyasnpiimportmatplotlib.pyplotasplt#Cameraparameters:FX_DEPTH=5.8262448167737955e+02FY_DEPTH=5.8269103270988637e+02CX_DEPTH=3.1304475870804731e+02CY_DEPTH=2.3844389626620386e+02#读取深度图像：depth_image=iio.imread('.depth/data/depth_2.png')#计算灰度图像=灰度256*depth_image/0x0fff,dtype=np.uint8)#将灰度图像转换为3通道图像：depth_grayscale=np.stack((depth_grayscale,)*3,axis=-1)为了计算一个有组织的点云，我们使用与上一教程（Python：来自RGB-D图像的点云计算）中相同的方法。我们没有将深度图像展平，而是将jj和ii重塑为与深度图像相同的形状，如下所示：#获取深度图像分辨率：height,width=depth_image.shape#计算索引并将其重塑为与深度图像：jj=np.tile(range(width),height).reshape((height,width))ii=np.repeat(range(height),width).reshape((height,width))#计算常量:xx=(jj-CX_DEPTH)/FX_DEPTHyy=(ii-CY_DEPTH)/FY_DEPTH#computeorganizedpointcloud:organized_pcd=np.dstack((xx*depth_image,yy*depth_image,depth_image))如果打印出来的形状创建点云，如您所见，它是一个具有3个通道(480,640,3)的矩阵。如果您觉得这段代码难以理解，请返回上一篇教程（Python：基于RGB-D图像的点云计算）。同样，我们像上面那样检测地面，但不是更新点的颜色并显示点云，而是更新灰度图像的像素并显示它：#Ground_detection:THRESHOLD=0.075*1000#定义一个threshold_max=max(organized_pcd.reshape((height*width,3)),key=lambdax:x[1])[1]#获取y轴上的最大值#设置地面像素为绿色:foriinrange(height):forjinrange(width):iforganized_pcd[i][j][1]>=y_max-THRESHOLD:depth_grayscale[i][j]=[0,255,0]#更新深度图像#显示depth_grayscale:plt.imshow(depth_grayscale)plt.show()4.结论在本教程中，我们引入了默认坐标系并实现了一个简单的地面检测算法来熟悉点云。事实上，地面检测在导航等一些应用中是一项重要任务，文献中已经提出了几种算法。实现算法简单；它认为最低点是地面。然而，它的局限性在于深度摄像头必须与地面平行，而大多数实际应用并非如此。
