Abstract

目的–本文旨在研究车辆中的距离确定，通过提示驾驶员采取预防措施或为即将发生的碰撞准备车辆安全系统，可以使车载系统向驾驶员提供反馈和警报。新系统的成功部署使驾驶员可以抵制大量的事故以及与车祸相关的物质损失和成本。
设计/方法/方法–在这种情况下，本文结合三个主要步骤介绍了基于摄像机校准的摄像机与正面车辆之间的估计距离：消失点提取，车道检测和3D真实场景领域中的车辆检测。该算法在MATLAB中实现，并应用于高速公路市区包含多辆车辆的场景。该方法从相机校准开始。然后，可以计算距离信息。发现–基于实验性能，该新方法具有强大的鲁棒性，特别是对于在单个场景中检测和估计多个车辆的距离而言。此外，该方法在2.382 ms的执行时间内显示出0.869的更高的准确度检测率。
原创性/价值–所提出方法的新颖性首先在于使用自适应分割来拒绝错误的兴趣点。其次，消失点的使用降低了使用内存的成本。确实，消失点上方的图像部分将不会被处理，因此将被删除。最后的好处是这种新方法在结构化道路上的应用。

1. Introduction

几年内，为确保车辆自动化的特定场景，车辆应配备必要的传感器和信息处理程序，以实现高度和完整的自动化功能。 首先，我们可能期望自动驾驶功能（Bengler等人，2014）能够在高速公路和交通队列中行驶。 为了提高高度自动化的水平，我们必须要求修改国内和国际法规。 因此，为了确定此类单个系统的自动化程度及其在没有任何外部帮助的情况下自主运行和反应的适应性，已参考了汽车工程师协会（SAE）文件J3016（SAE International，标准J3016_201401，2014）。
如下图1所示，该分类采用了驾驶员必须完成的六个国家和国际使用级别（Merat等，2014）。对于级别1，只有驾驶员对车辆进行纵向控制。它试图保持速度，加速和制动，而无需自动化系统的任何干预。在级别2，系统会干预多个驾驶任务，而将纵向或横向驾驶任务留给驾驶员。我们仅将局部自动化引入到Level 3，因为在某些用例中，驾驶员现在可以放弃与系统的纵向和横向控制相关的两项任务。在这些案例中，我们提到了Van Breugel等人的工作。 （2014年），他们提出了一种从昆虫行为启发的光流中估计单眼距离的算法。该算法仅在主动着陆演习任务期间使用。驾驶员会在旅途中不断监视车辆和交通情况。他们必须始终能够立即重新获得对车辆的控制权。在第4级，系统取代驾驶员在特定的特定情况下进行纵向和横向驾驶（道路类型[Jaballah和M’Sirdi，2015年]，速度范围和环境条件）。因此，驾驶员将被剥夺立即跟随驾驶过程的权利。从级别5开始，在特定情况下，驾驶员可以将整个驾驶任务交给系统。这些方案考虑了道路类型，速度范围和环境条件。级别6是开发的最后一个级别，无需驾驶员即可进行驾驶。该车辆可以在所有速度范围和所有环境条件下的所有类型的道路上执行完全独立的驾驶任务（Abdi等人，2015）。但是我们不能说何时可以达到这种自动化水平。研究和开发主要集中于部分驱动，高度自动化和完全自动化的自动化水平。
（Majchrzak et al。，2009）由于其对变化的环境光的免疫力而广泛用于车辆。尽管有这些优点，但与无源系统相比，该系统具有很高的成本（它需要发射器和接收器）。对于无源传感器系统，我们主要找到基于视觉的方法。视觉是ADAS中最常见的技术。该技术可分为两类：单眼视觉和立体视觉。我们引用了（Ho et al。，2017）的工作，其中作者应用了基于算法的卡尔曼滤波器来确定距离和速度的估计值，以使用单筒相机的光流来确定着陆控制的距离和速度。立体视觉利用来自两个或更多摄像机的图像来构建3D空间，该空间通常比单眼视觉提供更好的精度。但是，就执行时间而言，与具有相同算法的立体视觉系统相比，基于视觉的单目系统速度更快，并且可以在更短的时间内提供更好的结果。这是由Liu等人宣布的。 （2017）在他们的工作中，他们开发了基于单眼相机提供图像的防撞系统。自我和前排车辆之间的这种估计的安全距离允许系统将警告信号发送给驾驶员，如果该距离短于所考虑的阈值。许多应用需要这些不同的计算机视觉技术，例如物体检测（Zhao等人，2017； Sivaraman和Trivedi，2013），线检测（Lin等人，2012）和距离估计。在本文中，我们专注于行驶车辆上的校准摄像机与之前的其他车辆之间的距离估计和确定。本文的其余部分安排如下。在第2节中，我们概述了交通场景中距离估计的先前工作。第三部分提出了一种距离估计方法。建议的方法的实验结果可以在第4节中找到。在第5节中，我们提出了定量评估，以证明建议的方法的优越性能。最后，第6节以结论结束本文。

2. Related work

从单个获取的图像估计相机到车辆的距离是非常具有挑战性的研究领域。但是，一些研究人员试图找到方法来解决这一挑战的理论基础。此后，该基础得以实际实施并表现出良好的性能。的确，在计算机视觉中消失点的检测和利用始终始终是关键步骤，它实际上允许基于分段提取鲁棒的特征，并随后用于重建更复杂的对象，例如在城市道路上的车辆。在文献中，计算机视觉中消失点的提取非常丰富。几种用途是可能的，它们可以分为三种方法。我想到的第一种方法是车道检测。第二种方法是车辆检测，第三种方法是距离的估计。在车道检测和车辆检测领域，如几篇著作所报道（Tian等人，2018年; Weili和Yong，2014年），车道和车辆的检测率受道路类型和场景复杂性的影响很大。在郊区道路上的车道检测任务更加容易，尤其是在公路案件中。
特别是在公路案件中。 在（Nguyen et al。，2018）的工作中，作者提到他们使用车道标记或道路边界交叉之间的相关段的两个聚类来确定消失点。 这些信息随后被用于检测线路。 使用了三个相机。 线检测用于检测车道，水平和垂直边缘过滤器与大津的阈值方法结合用于检测车辆。 该算法的有效性使韩国高速公路上的最大检测距离接近40 m。 此外，我们举了一个使用消失点进行自动驾驶的示例，该驾驶需要车道检测功能。 Moon等。 （2018）使用Harmony Search来估计道路车道延长线上存在的消失点。与RANdom SAmple Consensus（RANSAC）算法相比，本文提出的HS算法在估计消失点方面具有稳定性。车道和车辆检测方法仍然是这种情况，这是有关搜索空间受限的情况的最后示例，该搜索空间的限制使城市道路的复杂性最小化，以减少检测错误，从而获得更准确的结果。 Ozgunalp和Kaymak（2017）在他们的工作中自动化了将受到限制的参数的选择。该算法的贡献涉及两点。首先是给定的实验配置，该配置将由一组固定的道路图像施加。第二点涉及霍夫口罩的使用，允许更有效地应用必要的限制。因此，左车道和右车道之间的交叉点的合成消失点将用作用于车道检测的受限搜索空间的估计的特征。最后，这种方法的检出率超过97％。
现在让我们回到距离估计，并给出一些示例，并从Wu等人的工作入手。 （2012）；在图像中具有已知距离和车辆宽度的一些样本用于训练距离估计模型。但是，此方法依赖于参数或训练数据来学习模型。实际上，在这种情况下，如果摄像机的布局或摄像机本身发生变化，则必须从头开始重新启动整个学习过程。在他的作品中，达根等人。 （2004年）成功地基于以下关系式估算了距车辆的距离：该关系将移动车辆上已安装和校准的摄像机的给定速度与随时间变化的正面车辆的宽度变化联系起来。 Kosecka和Zhang（2002）提出的算法允许基于模板匹配方法检测沿虚线的锚点。红色点是另一条车道上的对应点，在3D世界距离中的车道宽度W1为已知值（约3.75 m）。这六个点的3D字坐标可以根据当地交通法规的固定车道模式确定。因此，可以从包含两个点对应关系的投影矩阵M估计摄像机的姿态，该投影矩阵M结合了旋转矩阵R和平移矢量T。矩阵M用于估计实际位置（X，Y ，Z）在图像中具有坐标（u; v）的窗口中间的底部。他们将车辆的实际坐标与相机T在z坐标上的平移之间的距离确定为车辆的前方距离（Levinson等，2011）。
Lee等人提出的算法。 （2013）使用从图像中检测到的有趣点及其真实的3D坐标。 给定固有参数时，这些坐标将有效。 在这种情况下，检测到的有趣点用于估计摄像机的姿势。 在Zhang和Mei（2010）的最后一个示例中，作者最初是通过测量相机的高度和姿势开始的。 其次，他们假设存在焦距来确定车辆的估计距离。 然而，实际上难以测量安装在车辆中的照相机的姿势。

3. Distance estimation method

在本节中，我们将描述仅从单个道路图像进行距离估计的算法。 图2说明了算法和采用的过程。

确定车辆与摄像机之间距离的示意图如下所示。 该算法包括三个连续的部分：兴趣点（PoI）提取，车道检测和距离估计。 实际上，为了成功提取道路车道，所提出的方法是基于标记轮廓的检测。 对于我们的工作，这种方法非常有效且最简单，特别是在结构化道路的情况下。 使用这种边缘检测算子的主要缺点是对噪声。 因此，我们将使用Prewitt滤波器来加重噪声，因此需要进行滤波。 检测到的线的交点将用作消失点。 这些是要提取的PoI。 另一方面，霍夫变换将成为高速公路车道检测的基础。 这项拟议工作的另一个优势是分割步骤。 为了拒绝在嘈杂区域中确定的错误PoI，我们的算法采用基于直方图的自适应分割方法进行操作。 一旦分割步骤完成，车辆检测就开始了。 检测车辆的后方以确定距离的估算值（图3）。
在我们的方案中，距离的估算通过对道路车道的检测来完成。 这三个部分至关重要。 图像的过滤和消失点对线条的检测使得提取PoI成为可能。 之后，我们根据消失点的位置在图像中找到道路的相应区域。 最后，在知道车辆沿着所选道路行驶的情况下，基于对道路区域中车辆的检测来执行距离计算。
所考虑的图像将首先被过滤以成功进行边缘检测（Papari等，2007）。 之后，主要步骤就是进行线路检测。 它基于最常见的方法：霍夫变换。 在此级别上，即使在项目中不需要的情况下，我们也能成功进行线路检测。

3.1 Points of interest extraction

成功完成我们项目的第一部分是提取PoI。 这导致确定消失点。 简单地说，可以通过确定多条线的交点来确定消失点。 但是，为了更好地解释该原理，我们给出以下必要步骤：

Input: Input image
Step 1: Edge detection
Step 2: Hough Transform for line detection
Step 3: Choose lines that appear in consecutive frames
Step 4: Store coordinates of intersection points of the selected lines
Step 5: Choose the Vanishing Point as the calculated maximum distance between means of points Output: the coordinate of vanishing point in x and y.
该算法从基于Prewitt滤波器的边缘检测开始。 然后，为了检测线，使用了霍夫变换。 之后，增加一个计数器以选择出现在六个以上连续帧中的计数器。 第四步是根据以下等式（1）存储所选直线的交点的坐标（x，y）：
此算法的最后一步是根据下面的方程式（2）计算两个点之间的距离：

3.2 Lane detection

消失点是这项工作中的线段特征。 它们用于提供指示以帮助解释图像。 由3D场景（真实场景）确定的平行水平线将通过无限投影转换为图像的2D线束。 这些线的交点位于将被标识为消失点的点。 消失点的数量由光束的数量确定。 每个点之间每个段之间的距离是由Antunes和Barreto（2013）的工作中定义的一致性测量函数计算得出的。 给定上面已经解释的内容，认为有必要对摄像机进行良好的校准以给出真实场景中线束的3D方向。 图8显示了所有检测到的线。 带红色标记的线是假线。 其他带有蓝色标记的是所需的行车线，它们属于消失点。

3.3 Adaptive segmentation

在这项工作中，我们进行自适应阈值化，这是分割的一种特殊情况。 目标是自主确定用于将图像细分为对象和背景的适当阈值。 当然，我们案例的对象是车辆。

3.4 Road localization

第二步是找到道路的车道。 为了实现道路位置，必须预先知道消失点在图像中的位置。 消失点从场景的角度提供信息。 确实，消失点曾经用于将图像中的所有平行线分组。 消失点是根据水平线计算的。 由于摄像机的方向与道路线平行，因此水平线定义了有限的消失点。 因此，不要考虑无限消失点会大大减少要考虑的行数，并且消失点的计算会变得更快

3.5 Distance estimation