基于时序的4D标注工作

1. 全局地图重建

1.1. Lidar和Camera的组合

• R3LIVE：https://arxiv.org/pdf/2109.07982.pdf
  • 方法：对齐camera和lidar的信息
  • LIO和VIO紧耦合的方式
    • LiDAR-inertial odometry (LIO)
    • visual-inertial odometry (VIO)
  • 缺点：
    • 地面出现空洞
    • 紧耦合对标注不太好
  • 改进方向：松耦合
    

1.2. Camera全局地图重建

大场景的重建

Nerf方法

• Block-Nerf：https://arxiv.org/pdf/2202.05263.pdf
  • 巨大的算力开销和处理时间

不是很care：mrse、z轴的偏差
考虑到：可操作性、和地图的交互、像素差

SFM方法

• pixel-perfect-sfm：https://arxiv.org/pdf/2108.08291.pdf
  • 主要思路：CNN提取特征，然后调整SFM
  • 目前正在使用的，优点：特征提取很好，很鲁棒
  • 实践：重投影误差3个像素以内，光照比较好的情况1个像素误差
  • 缺点：雨天会出现离群点，会做一些过滤
    

Camera base的缺点：

• 依赖图片质量：低光照、有污渍、极端天气表现不好，很难用超分量的方式来补充失去的feature
  优点：
• 标签有全局信息，缓解帧间的gap和bbox的调变问题
• 全部标注成本30%，且数据质量更高
• 支持多种传感器组合
• 下游任务友好，例如Synatactic或Occ

标注团队可能用的x99、x79，需要内存占用比较小，优化到2～3G

2. 动态物去除

• removert：https://github.com/irapkaist/removert
• Offboard 3D：https://arxiv.org/pdf/2103.05073.pdf
  • 3D OD -> MOT -> 分类模型做动静态分类
• MPPNet：差不多思路
• CTRL：https://arxiv.org/pdf/2304.12315.pdf
  • 认为：同类物体尺寸不一致、调变；做动静态物体分类会减少物体的多样性，阻碍数据的泛化
  • 第一阶段Forward tracking IOU匹配，第二阶段做关联（这点可以借鉴）
• DetZero：https://arxiv.org/pdf/2306.06023.pdf（shanghai AI lab ，Waymo SOTA）
  • 正在使用的pipeline，优点：
    • Detection、MOT、Refine是解耦
    • 精度高
      

非刚体物体的去处：人工、策略
跨域检测问题
lidar跨域的适配比较差，会考虑到3D Trans的工作

• SPOT：https://arxiv.org/pdf/2309.10527.pdf
  • 用Occupany做域的归一化操作，对于域差异的数据有帮助
• RESIMAD：https://arxiv.org/pdf/2309.05527.pdf
  • 通过Reconstructed Mesh的操作减少点云的差异
    

目前是将RESIMAD嵌入到DetZero

4. 其他工作

Occupancy
既然重建了高精地图，那就可以做Occupancy的生成

• SurroundOCC：
  • 分类动静态点云，合并多帧

Synthetic

• READ：
• drivedreamer：生成驾驶策略，模拟corner case