车距计算对驾驶辅助和交通状况估计具有重要意义。 在本文中,我们提出了一种基于车载视频的距离差距计算方法。 该方法主要分为三个主要阶段。 在第一阶段,使用具有Haar类样本图片特征的Adaboost级联分类器来检测先前的车辆。 在第二阶段,将融合远距离车辆的最大稳定极值区域(MSER)和近距离车辆的垂直纹理方法的融合算法应用于车牌定位。 在第三阶段,根据板的像素高度和板的像素高度的比例来计算距离间隙。 本文的实验结果表明,该方法在计算距离间隙方面具有出色的性能。

1 Introduction

基于车载视频的车辆检测和距离差距计算至少在两个方面具有潜在的应用。 首先,通过车载视频获得的距离间隙(本文中定义为从前窗顶部到前车道的距离)可用于驾驶员辅助[1]。 另一方面,它也可以应用于车载数据采集系统中,例如,配备GPS,无线通信单元和距离差距计算装置的浮动汽车,不仅可以获取其位置坐标和行驶速度[2],而且还可以测量许多 车辆并将信息发送到交通监控中心。 因此,中心从大量的浮动车辆中收集了所有信息,以分析交通密度并预测交通状况[3]。
已经开发了用于检测车辆并计算距离差距的各种方法,例如雷达[4],激光[5],红外[6]或计算机视觉[7]。与其他方法相比,计算机视觉至少具有两个优点,一方面,摄像机的成本较低;另一方面,摄像机的成本更低。另一方面,它可以获得更多信息,例如行人,自行车和车牌号。由于摄像机性能的逐步提高和上述优点,计算机视觉系统在智能交通系统中得到了广泛的应用。基于视觉的距离测量的方法包括基于单眼视觉的距离测量和基于双眼视觉的距离测量。具体而言,双目视觉需要使用双目相机并找到两个图像的对应关系。尽管双目视觉方法比单目视觉更准确地计算物体距离,但由于算法复杂度高,无法满足实时性要求。因此,在本文中,我们提出了一种车载单眼视觉方法来检测先前的车辆并计算距离差距。
关于单眼视觉方法来计算距离差距的现有文献可以分为以下两类。第一种方法是基于三角函数。这种方法需要检测相机的垂直线和将相机与前车灯[8]或底部[9]连接起来的线之间的角度。这些方法要求所有车辆都在同一水平面内,并利用摄像机的内部参数来计算角度。然而,该角度通常较小,并且容易通过计算机视觉在检测过程中产生误差。第二种方法是基于相似三角形的比例。这种方法利用距离间隙的像素距离与距离间隙的实际距离[10],灯的像素距离和灯的实际距离[11]或牌照的像素宽度和灯的实际宽度之间的长度或面积比。车牌[7]计算距离差距。与基于三角函数的方法相比,这些方法具有更好的计算精度,因为它方便了实物测量,并且可以通过计算机视觉精确地检测出实物。尽管对这些方法进行了一些改进,但大多数方法仅针对较小检测范围内的计算,而无法适应复杂的交通场景。由于交通监控中心需要获取大规模信息来分析交通状况,因此这些方法将需要尽可能多地计算车辆的距离差距。面对上述问题,本文提出了一种基于实时车载视频的系统,用于检测先前的车辆,定位车牌并计算距离差距。与其他方法不同,本文提出的方法降低了图像分辨率,通过使用Adaboost来检测车辆并记录车辆的坐标,而不是设置区域兴趣(ROI),然后使用结合了MSER和垂直纹理的融合方法在车辆图像中定位牌照,并获取牌照的像素高度,以计算距离差距。实验结果表明,该方法具有很好的实时性,可以在三十米范围内检测车辆并准确计算出距离。
本文的其余部分安排如下。 第2节详细介绍了我们方法中算法的各个部分,包括车辆检测,基于垂直纹理的车牌位置,基于MSER的车牌位置,融合定位方法和距离差距计算方法。 Sect中报告了一项实验研究。 图3揭示了所提出方法与其他方法相比的优势。 本文的结论在Sect中给出。

2 Methodology

本文提出的距离差距计算方法可以分为三个步骤。 首先,安装在观察车前窗顶部的单眼相机用于监视前方目标车辆,而Adaboost分类器则用于检测前方车辆。 在下一步中,可以基于融合方法(将MSER与垂直纹理算法结合在一起)来定位检测到的先前车辆的车牌。 第三,可以根据图像中车牌的高度和车牌像素高度的比例,计算出观测车与前车之间的距离,即距离差距。

2.1 Detecting Preceding Vehicles

车辆检测的关键点是准确性和实时性能。 由于交通拥堵和频繁的车道变更,很难使用车道线或道路边缘设置特定的ROI来检测车辆。 因此,通过检测对称点,车辆阴影和拐角点的车辆检测方法可能不适用于车载视频。 因此,采用机器学习方法直接完成目标车辆的检测。 Adaboost算法[12]在准确性和实时性方面具有很高的性能,适合于多变的交通场景。
作为一种迭代算法,Adaboost可以将由一些弱分类特征组成的弱分类器收集到强分类器中。 Viola和Lienhart [13,14]提出的类似Haar的特征是一种弱分类特征,可以用作Adaboost的输入。
在本文中,我们选择了带有车辆的1000张图像和没有车辆的2000张图像作为训练样本,如图1所示,提取了类似Haar的特征,生成了一个18层级联的Adaboost分类器。
在检测过程中,为了确保下一部分车牌定位的准确性,我们使用1920×1080高分辨率视频对前车进行检测。为了减少在高分辨率视频下检测前车的时间,系统会在复制视频的每一帧并将其大小减小到576×324之后检测前车。随后,级联Adaboost分类器过滤掉没有车辆的区域 逐层检测车辆并记录其坐标。最后,系统放大车辆的坐标并提取原始图像中的车辆图像。 在图2中显示了检测车辆的流程。

2.2 Locating License Plate

基于诸如纹理,固定大小和固定宽高比[15],轮廓[16],颜色[17]之类的字符,有许多车牌定位方法。 然而,这些方法中的大多数都针对小检测范围内的位置,并且不能适应复杂的交通场景。 所提出的定位方法着重于适应不同比例的车辆图像并尽可能地定位车牌。
实际上,不同的先前车辆与摄像头之间的距离可能会变化,这会导致车辆图像分辨率出现明显差异。 但是,使用单一方法定位车牌效率不高。 给定被检测车辆的图像分辨率,作者将分别介绍两种方法,然后将它们集成为一种融合方法,以便精确定位车牌。

License Plate Locating Method Based on Vertical Texture of License Plate

车牌区域由于字符的规则分布而在垂直方向上具有丰富且不规则的纹理,这不同于其他车辆边缘信息。 通常,使用高分辨率图像,可以轻松地区分印版的文字信息。 因此,当要检测的车辆靠近摄像机时,车牌图像将具有丰富的垂直纹理,可以提取该垂直纹理以定位车牌。
具体来说,我们将车辆的彩色图像转换为灰色图像。 然后,将3×3窗口用于灰度图像中的介质过滤器。 在窗口中,将像素值替换为中间值以消除噪声。 在下一步中,我们采用Sobel运算符来计算垂直纹理。

License Plate Locating Method Based on Maximally Stable Extremal Regions (MSER)

J. Matas [18]提出的MSER算法旨在分割稳定区域。 算法过程如下,设置一系列阈值tn并将其用于二进制化。 对于每个阈值,可以从图像中提取出多个黑色区域Q1Q2 … Qk,这被称为极值区域。 如果每个末梢区域的面积在很宽的阈值范围内保持稳定性,则称为MSER。

License Plate Locating Method Based on a Fusion Method(融合)

本文将结合上述两种方法,为车牌定位提供一种融合算法。 根据先前车辆图像的大小,系统可以将它们分为三类。 对于最大的类别,系统可以通过基于车牌垂直纹理的方法来定位其车牌,而对于最小的车类,则可以使用MSER方法完成相同的任务。 对于中型车,该系统首先采用分析车牌垂直纹理的方法,并在识别车牌后停止。 否则,MSER方法将自动用于执行相同的任务,直到识别出车牌。 之后,系统会记录所有在先车辆的识别车牌信息。 对于未识别的车牌图像,系统会将其标记为非车辆区域。 算法的相关细节如图5所示。
image.png

2.3 Calculating Distance Gap

找到车牌后,我们可以在图像中获得车牌的高度和宽度。 由于牌照的尺寸是固定的,例如在中国,普通车辆后牌照的宽度为440毫米,高度为140毫米,因此很容易根据牌照的像素高度来计算距离间隙,并且 像素高度和距离间隙之间的比例。 人们开车时,经常会转弯或改变车道。 在这些情况下,牌照所停留的平面不垂直于摄像机的中心轴。 具体来说,车牌图像的宽度会因前车的角度变化而变化,而高度则保持不变。 因此,我们可以计算出板块像素高度和距离间隙的比例。
image.png
在图6中,坐标原点代表摄像机,摄像机的左侧是牌照所在的平面,右侧是图像所在的平面。 横轴上的更多垂直穿过图像平面和车牌平面。 在坐标系中,d是相机与牌照平面之间的距离,f是图像平面的虚拟焦距,a,b和a,b是连接牌照顶点和顶点之间的线 车牌
车距计算公式:
image.png

3 Experimental Results

为了验证采用本方法的测距精度,将GPS计算的测距信息用于比较。 具体来说,一辆观察车安装了一个摄像头和GPS,而另一辆只配备了一个GPS。 在实验中,配备了摄像头和GPS的观察车只能在GPS后面的另一辆车后面移动。 摄像机捕获了前面的车辆,两个GPS记录了坐标。 然后,视频由C ++程序处理,以便检测先前的车辆并计算距离差距。 将两辆车的坐标转换为距离差距,该距离差距与通过程序计算出的距离相比被视为实际距离。
image.png
在进行本文提出的方法的实验之前,我们验证了GPS的准确性。研究人员在无遮盖物的道路上使用两个GPS选择了丰富的坐标,并测量了两个坐标之间的真实距离,并通过试算比较了GPS坐标计算出的距离,得出GPS误差小于1米的结论。在选择实验数据时,选择了GPS选择的坐标和摄像机在无遮盖的道路上拍摄的视频。在一个包含约80000帧的四十分钟的车载视频中,捕获并处理了各种交通场景(例如拥堵,十字路口和换车道),以检测前面的车辆并计算出距离差距。通过对车辆总数的计数,使用本文提出的方法检测的车辆总数和人工检测的错误车辆的总数,车辆检测的准确性达到了96%。关于距离差距,在图7中比较了由不同视觉算法生成的计算结果,这表明基于GPS的距离差距和基于融合方法的距离差距实际上保持不变。由于本文提出的融合方法基于车辆的图像尺寸,并与Sobel方法和MSER方法集成在一起,因此图7中的线与Sobel方法生成的线和MSER方法生成的线部分重叠。因此,从图7可以看出前面的车辆距离摄像头很远,因此车牌图像的纹理不清楚。 在这种情况下,用于距离间隙计算的Sobel方法不稳定,并且出于相同的原因,文献[7]中的礼帽法也存在检测范围较小的问题。 尽管MSER方法在计算距离方面具有良好的性能,但是与其他方法相比,它很耗时。 在表1中,给出了相应程序的范围,错误和运行速度的维度,并且视觉方法的误差是通过GPS检测到的距离的绝对差和Vison方法除以GPS检测到的距离来计算的,说明了融合 本文提出的方法具有比其他方法优异的性能。 图8描述了不同时间的实验结果。

4 Conclusion

在本文中,提出了一种基于车载视频的系统,用于检测先前的车辆并计算距离差距。由于使用单个摄像机,因此该系统的成本低于立体视觉系统和其他技术,例如基于雷达的方法。本文的检测和测量方法也比其他方法具有优势。在检测阶段,系统降低图像分辨率,使用Adaboost检测车辆,并记录车辆坐标而不是设置ROI,从而消除了错误并降低了算法的时间复杂度。同时,由于采用了MSER方法,该系统还可以在较宽的区域内尽可能多地检测车辆,这对驾驶辅助和车辆信息收集具有重要意义。在计算距离间隙的步骤中,本文提出了一种融合方法,该方法可以使用不同的方法根据车辆的图像尺寸精确测量距离间隙,并充分利用车牌区域的纹理。鉴于车辆检测的出色鲁棒性和可靠性以及距离间隙测量的高精度,通过车载测试执行的系统可用于城市交通。