LaserNet to Joint 3D Object Detection and Segmentation

less than 1 minute read

Published:

Paper Reading Note

URL: LaserNet: https://arxiv.org/abs/1903.08701v1 Sensor Fusion for Joint 3D Object Detection and Semantic Segmentation: https://arxiv.org/abs/1904.11466v1

TL;DR


(Takeaway message for readers) 首先介绍 LaserNet: 15%20AM|690x334 使用 lidar 的 range view 表示作为网络的 input,相比原始点云更加的 dense,使用一个 CNN 网络输出 class probability、box corner variance 和 box parameters。从每个位置预测出的 bboxes 通过 Mean Shift Clustering 和 Adaptive NMS 得到每个 instance 平均后的 box,从而减少误差。

在 LaserNet 的基础上,使用 RGB 和 Lidar 同时做 3D Object Detection 和 Semantic Segmentation。

Dataset/Algorithm/Model/Experiment Detail

Lorem ipsum dolor sit amet, consectetur adipiscing elit, sed do eiusmod tempor incididunt ut labore et dolore magna aliqua.

02%20AM|690x416 首先,将 LiDAR 点投到 Image,从而得到了具有 rgb 信息的 lidar image;分别将 image 和 lidar image 过 CNN,然后将 camera cnn 生成的 feature 通过乘上相机内参 K(Rp+t) warp 到 lidar image,然后相加过一个 lasenet,进而得到 detection 和 segmentation 的结果。

文章指出目标检测已经做了部分分割的工作,因此本文通过添加了 road、bicycle 等更细分的 background 和 foreground 类别,从而引入了分割任务。

Results

09%20AM|690x232

Thoughts

Ut enim ad minim veniam, quis nostrud exercitation ullamco laboris nisi ut aliquip ex ea commodo consequat.