摘要
随着汽车驾驶的发展，对距离测量的要求也增加了。传统的距离估算方法需要根据摄像机的内部和外部参数进行复杂的校准。基于神经网络结构的最新方法主要测量整个图像的相对深度。我们采用实例分割和相机焦距的单眼视觉技术来检测前置摄像头与车载摄像头的绝对距离。首先，我们从物体检测网络中提取汽车的位置。其次，将汽车的位置发送到汽车分类网络和实例分割网络，以获取汽车的类型及其掩码值。在这里，我们使用由CompCars数据集训练的模型对汽车类型进行分类，并使用Cityscapes数据集训练新的实例细分模型以获得每辆汽车的遮罩。第三，根据照相机成像原理，基于不同类型的汽车的尺寸信息与其遮罩值之间的关系，计算图像中汽车的绝对距离。通过KITTI数据集对提出的方法进行了检验，实验表明该方法的结果可以接近地面真实性。此外，所提出的方法使用实例分割网络来降低深度估计过程的复杂度，并且即使在部分遮挡汽车的情况下，仍然可以产生令人满意的结果。
实验
在本节中，实验从两个部分验证了该方法的可行性：（1）评估由Cityscapes数据集训练的车辆分类模型的性能，（2）使用KITTI数据集验证该方法的可行性，包括 相对于地面真相的距离测量的准确性，我们与其他方法之间的距离估计的准确性以及部分遮挡汽车时的距离测量的准确性。
3.1 Model Training and Evaluation
我们使用可公开获得的mask R-CNN框架来实现该系统。 我们将来自Cityscapes数据集的总共2975张图像用作训练集，并且仅采用汽车的注释来训练汽车的实例分割网络。We set the initial learning rate lr ¼ 0.004, weight decay of 0.0001, and momentum of 0.9. 其中，RPN训练总共16个时期，并且每六个时期将学习率lr降低一个数量级。 检测分割网络训练48个纪元，并将学习率每20个纪元降低一个数量级。 RPN和测试细分网络不共享参数，它们是独立训练的。 RPN使用具有三个不同长宽比{0.5、1、2}的五个比例{322、642、1282、2562、5122}的锚框，类似于参考文献3。 33.在训练过程中，调整图像大小，使其比例（短边）为1024像素。 每个微型批处理每个GPU具有一个图像，每个图像具有256个RoI，其中正负采样比为3：7。 在Nvidia Titan X GPU上，此训练过程需要100小时，并且在测试时，使用KITTI数据集在我们的GPU上以每张图像285毫秒运行，使用Cityscapes数据集在291毫秒上运行。 参考中的模型。 28在Nvidia Tesla M40 GPU下每个图像可以运行195毫秒。
我们将网络设置为ResNet-50-FPN，类似于R-CNN，28使用Cityscapes数据集的车辆进行训练，并根据Cityscapes验证集评估AP和AP50。 汽车细分结果显示，AP为50.3，AP50为75.8。（此处没有表图）
3.2 Verification of Distance Accuracy Against Ground Truth
We perform distance predictions on the KITTI dataset using the model trained on the Cityscapes dataset and compare the results with the ground truth from the KITTI dataset.
图9给出了距离估计的直观比较。根据KITTI数据集给出的地面实况，我们的方法可用于正确测量具有不同类型汽车的前排汽车的绝对距离。诸如方法16之类的深度估计使用颜色差异来表示相对深度，从而在总体视觉深度估计中提供了某些优势。然而，对于实际交通情况，这些冗余部分在驾驶过程中与深度估计之间的关联性较弱，并且开放空间中的整体深度信息对于检测没有优势。由于颜色变化较小，因此无法正确表示距离。深度估计无法准确地分析汽车的形状轮廓或其他信息，尤其是当汽车重叠或同时存在太多汽车时。因此，我们将重点放在基于车载摄像头的实际流量上，以确定前车的绝对深度。我们不估计多余零件的深度，而是通过从图像中分割汽车来计算前车相对于主题车的距离。
Fig. 9 Our distance predictions on KITTI dataset. (a–c) The first row of each group is our result, the second row is the ground-truth of KITTI dataset, and the third row is the depth map of method.16
3.3 Normalized Error of Distance in Different Methods
3.4 Verification of Depth Accuracy in Obscured Cars
若有收获，就点个赞吧
0 人点赞
