【深度学习初探】Day32 - 三维点云数据基础

发布时间:2023年12月18日

【深度学习初探】Day32 - 三维点云数据基础



????????我们在做 3D 视觉的时候,处理的主要是点云,点云相较于图像有着不可替代的优势,也就是深度值,三维点云直接提供了三维空间的数据,而不需要像二维图像那样通过透视几何反推三维数据。

一、点云的定义

????????点云是某个坐标系下的点的集合。这些点包含了丰富的信息,包括三维坐标 X,Y,Z、颜色、分类值、强度值、时间等等。点云在组成特点上分为两种,一种是有序点云,一种是无序点云。

  • 有序点云:一般由深度图还原的点云,有序点云按照图方阵一行一行从左上角到右下角排列,其中还会有一些无效点。有序点云按顺序排列,很容易找到它的相邻点信息,在某些处理下还是比较便利的,但是获取有序点云难度很大,在很多情况下是无法获取的。
  • 无序点云:无序点云更为常见和普遍,它就是点的集合,点的排列之间无任何顺序,点顺序交换后也不会有任何影响。

二、点云的获取

????????见 Day31 。

三、点云的属性

????????点云可以表达物体的空间轮廓和具体位置,它本身和视角无关,可以任意旋转,从任何角度和方向观察,不同的点云只要在同一个坐标系下,就可以直接融合。

四、点云的存储格式

????????点云存储格式有很多,主要有:pts、LAS、PCD、.xyz 、.pcap 等。

4.1 pts

????????pts 格式是最简便的点云格式,直接按 XYZ 顺序存储点云数据,可以是整型或者浮点型。内容就是 XYZ 三维坐标。

这里是引用

4.2 LAS

????????LAS 格式是通过激光雷达(LiDAR)扫描得到的,它的格式也有一个统一的规定:

C:class(所属类),
F:flight(航线号),
T:time(GPS 时间),
I:intensity(回波强度),
R:return(第几次回波),
N:number of return(回波次数),
A:scan angle(扫描角),
RGB:red green blue(RGB 颜色值)。
在这里插入图片描述

4.3 PCD

???????? PCD格式是用于PCL库(一种现有的三维处理较成熟的库)的一种特殊的格式。是 PCL 库官方指定格式,典型的为点云量身定制的格式。优点是支持 n 维点类型扩展机制,能够更好地发挥 PCL 库的点云处理性能。文件格式有文本和二进制两种格式。

这里是引用

4.4 .xyz

???????? .xzy 相较于pts,多了三列数据,后面三个数字是点的法向量,数字间用空格分隔。

这里是引用

4.5 .pcap

???????? .pcap是一种通用的数据流格式,现在流行的 Velodyne 公司出品的激光雷达默认采集数据文件格式。它是一种二进制文件。

五、三维点云的表示方法

????????点云的表示方法有很多,根据表示方法不同,处理方式也会不同。
???????? 第一种较容易的处理方式是,将其投影为二维图像或转换为三维体素(Voxel),从而将无序的空间点转变为规则的数据排列。
???????? 第二种是使用原始点作为表示,不做任何变换,可以最大限度保留所有原始信息。
???????? 此外,点云还有一种表示,称为网格(Mesh),其可以被看作是构建了局部连接关系的点,即为图。将点云看作图数据,可以使用图领域新兴的图卷积(Graph Convolution)技术进行处理。

这里是引用

5.1 二维投影

????????二维投影把点云变为了图像,让卷积神经网络(CNN)应用于点云数据成为可能。

5.2 三维体素

????????三维体素其实是对点云的特征提取,将点云体素化(Voxelization),将其转换为空间上规则排布的栅格。然后把二维卷积神经网络拓展一个维度,让它可以处理三维数据,这样的神经网络我们称为三维卷积神经网络(3DCNN),而三维体素可以直接应用在这种表示上(因为其规则排布,可卷积)。

5.3 原始点云

????????点云不做处理,直接展示,将点云可视化,可以把数据信息损失降到最低。

5.4 图

????????三维点云数据可以看作图数据的一种,而图网络很多思想可以应用于点云处理。因此,图卷积(Graph Convolution Network, GCN)可以用来处理点云数据。GCN 又分支为基于谱的图卷积(Spectralbased GCN)和基于空间的图卷积(Spatial-based GCN)。

六、点云的算法库

????????关于点云,现今已经有很多算法库支持处理点云,主流的三维算法库都可以处理。

  • PCL(Point Cloud Library):这个库就是专门处理点云的。可以在多平台部署,本身是一个大型跨平台开源C++ 编程库。它实现了大量点云相关的通用算法和高效数据结构,实现点云相关的获取、滤波、分割、配准、检索、特征提取、识别、追踪、曲面重建、可视化等操作,非常方便移动端开发。
  • VCG 库(Visualization and Computer Graphics Library)是专门为处理三角网格而设计的,该库很大,且提供了许多先进的处理网格的功能,以及比较少的点云处理功能(不推荐)。
  • CGAL(Computational Geometry Algorithms Library),计算几何算法库,以 C++ 库的形式,提供方便、高效、可靠的几何算法,实现了很多处理点云及处理网格的算法。
  • Open3D 是一个可以支持 3D 数据处理软件快速开发的开源库。它最大的优点是支持 Python。它是从一开始就开发出来的,带有很少的、经过仔细考虑的依赖项。从源代码进行最小的编译,代码干净、样式一致。支持点云、网格、RGB-D等数据。
文章来源:https://blog.csdn.net/oo00Z00oo/article/details/134818182
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。