论文地址：Deep Multi-Modal Object Detection and Semantic Segmentation for Autonomous Driving: Datasets, Methods, and Challenges

简介

领域：感知系统
问题：深度多模态感知问题，物体识别，语义分割
贡献：数据集（2013-2019），融合方法

背景

传感器

  1.     视觉和热成像摄像机：周边信息<br />        激光雷达：深度信息，3D points<br />        雷达<br />        超声波：距离测量<br />        高清地图：位置<br />        IMU和里程表：车辆内部信息（加速度和旋转速率等）

物体检测

  1. 两阶段（ Two-Stage）<br />        ROI--分类<br />        模型：R-CNN，Fast-RCNN，RPN（Region Proposal Network）<br />    一阶段（One-Stage）<br />        模型：YOLO，SSD

语义分割

  1. 语义分割的目标是分割一个场景分成几个有意义的部分<br />    两阶段<br />        R-CNN，Mask-RCN<br />    一阶段<br />        FCN（Fully Convolutional Network）

文章的核心-融合方法

image.png
融合，顾名思义是多个传感器的数据融合，这个具体需要根据数据的特点去看，暂时不做研究