基于语义分割模型的三维沥青路面车辙异常分析方法

截至2020年底，中国公路总长度达到519.81万公里，公路养护里程514.40万公里，占公路总里程的99.0%。我国公路网已经基本形成，然而，由于交通负荷的不断出现和道路的自然老化，路面损坏日益严重。据统计，80%以上的高速公路路面维修、罩面是由车辙病害引起的。车辙不仅会减少道路使用寿命，在雨雪等天气下还会导致路面积水、结冰，危害驾驶员的行车安全。此外，车辙病害进一步发展将破坏路面结构层的质量，形成破坏性和危害性更大的其他病害。因此，准确高效地检测车辙可以为路面维护决策提供重要依据。

三维（3D）线激光成像技术是近年来新兴的路面自动检测技术，用一定偏离角度的高速数字相机记录激光光源投射在路面上的激光线形状，可以获得路面横断面数据，通过车辙模型计算即可提取路面车辙信息。然而，三维线激光技术检测结果和真实值之间仍存在不小的误差，一些学者分析了车辙测量精度可能受到光线、拥包、边缘脱落、植被等的影响，提出了减小误差的方法，但并未研究针对这些影响具体的滤波方法。另外，具有三维特征的路面破损如坑槽、松散、裂缝和桥接缝也在很大程度上影响了车辙测量结果的准确性，导致无法为后续处治措施提供有效的决策支持。

鉴于上述问题，本文提出了一种新的车辙异常检测与校正方法：建立由双通道路面图像组成的数据集作为语义分割模型DeepLabV3+的输入数据，并对模型进行训练，训练后的模型可以有效识别和定位导致车辙异常的病害。根据模型的输出结果，通过建立基于拉格朗日插值法的准则函数对异常车辙进行校正，排除其他病害的影响，恢复真实的车辙横断面曲线，从而提高车辙深度测量精度。

（一）数据的采集及预处理

本文所使用的沥青路面数据是由数字道路检测车（DRIV）根据三角测量原理采集，图1以同济大学生产的T-PRES系统为例。试验环境按照2014年《公路路面技术状况自动化检测规程》设立。采集的二维路面图像和三维路面数据的水平分辨率为1mm，长宽为4096×2048，二维路面图像的每个像素在垂直分辨率为0.35mm的三维路面数据中都有一个对应的高程值。

由于路面的复杂性、传感器的性能、检测系统的机械震动和测量过程中的人为因素等都可能导致某些激光点无法反射回相机，从而造成横断面数据缺失。因此，需要对原始三维数据的缺失值进行校正，本研究对于筛选出的异常值采用其左邻正常值或右邻正常值的插值进行修正。

在语义分割模型训练前，需将三维路面高程数据转换为三维路面图像，如公式（1）所示。

为了节约计算资源，对二维、三维图像和校准后的三维高程数据进行下采样，维度由原来的4096×2048减少为1024×512，最终得到的这三种类型图像在像素级上是一一对应的。

（二）数据集制作

在对数据进行预处理后，将二维图像与对应的三维图像拼接起来建立沥青路面双通道图像库。从图像库中选取4000张双通道图像用于语义分割模型的训练和测试，从中随机抽取3000张作为训练集，500张作为验证集，其余500张作为测试集。数据集中的所有标签图都是由人工在像素级精度上手动标记完成，不同类型道路病害的图像数量见表1。此外，为了检验本文提出的车辙异常检测和校正方法的可靠性，在一条长度为6.5公里，破损严重的道路上采集1250张原始三维高程数据和二维图像制作成数据集DB1。

国内外对车辙的评价大部分都以车辙最大深度为判断依据，其主要测量方法可分为三类：模拟人工直尺检测SEM（straight edge model）、拉线算法和基于包络线测量的WM（wire model）法。本文采用包络算法计算车辙深度，并选择最大车辙深度大于10mm的图像作为车辙异常检测和校正的目标图像。

（一）网络架构

DeepLabV3+是2018年Chen等提出的一种先进实时的语义分割方法，它结合了空间金字塔池化模块和编码器-解码器结构。前者可以对多尺度的上下文信息进行编码，而后者可以通过逐步恢复空间信息来捕捉更清晰的目标边界。DeepLabV3+的结构如图2所示。

（二 ）参数设置和模型训练

在模型正式训练前，准备了带相应标签的双通道道路图像作为训练集和验证集。二维图像包含密度信息，在一定程度上反映了病害特征，但也受到很多因素的影响，如受路面油污、纹理、区域特征等因素的干扰。三维高程数据能较好地克服上述缺点，提供更多有用的信息和更少的噪音。因此，为了充分利用二维和三维图像的优势，我们将二维和三维图像拼接成双通道路面图像建立了一个全新的路面数据集。

模型的训练采用Adam优化方法。设置批量大小为16，学习率和权值衰减参数分别为0.0001和1e-8。在训练过程中，每迭代100次，对验证集进行一次测试，计算训练集的损失值、验证集的损失值和MIoU值，训练过程如图3所示，在模型遍历300个周期后，验证集的损失值不再明显下降，且MIoU值在第347个周期时达到最大，为82.48%，位于图3(b)中虚线方框标记处，之后出现了过拟合现象，本文保留遍历期数为347时的训练结果。

用包络算法筛选出最大车辙深度大于10mm的图片作为车辙深度异常值校正的目标图像。通过DeepLabV3+模型，对这些目标图像进行像素级分类。在此基础上，本文设计了一种车辙深度异常值的校正方法，其准则函数如下所示：

该准则函数基于像素级的语义分割结果，同时考虑了不同类型病害的特征。本文提出的校正方法步骤如下：

步骤一：对语义分割网络输出结果的每一行进行判断，若存在病害像素，进入下一步，否则该横断面的车辙深度值保留不变，见公式（3）。

步骤二：结合图片中每条横断面最大车辙深度值的像素点位置，若病害像素点与最大车辙深度值高程点不重合，则该横断面上的病害像素点不会影响最大车辙深度的计算，该横断面车辙深度值保留不变。否则，进入下一步，重新计算车辙深度值，见公式（4）。

步骤三：对于识别出的裂缝类病害，由于裂缝类病害的缝宽较窄，损坏深度较大，故先用拉格朗日插值法（公式（5））对病害像素对应的高程值进行校正，横断面曲线的校正效果见图4（a）。对于识别出的坑槽和松散类病害，考虑到其具有破损较为集聚且病害面积大小不一的特征，本文针对这两类病害设定了一个阈值，即某一横断面的病害像素点超过100个，则认为对车辙深度计算的影响较大，将对应行的高程数据整行剔除，否则采用与裂缝类病害相同的方法校正。而对于识别出的桥接缝类病害，由于其通常横跨道路整个横断面，因此桥接缝所在的横断面不应参与车辙深度的计算，故将对应行的高程数据整行剔除。公式（4）和公式（5）显示了不同类型病害导致车辙深度异常的校正方法。

（一）语义分割网络的性能评估

为评估DeepLabV3+的网络性能，分别训练了UNet和PSPNet作为比较网络。将它们分别应用在测试集上得到病害识别和分割结果。表2列出了三种网络对每类病害的IoU和MIoU值，从表中可以看出，对于坑槽和桥接缝，三种网络的识别精度较好。U-Net在松散、桥接缝和裂缝上的表现较好，但在坑槽病害上的IoU值较低。PSPNet性能相对较差，MIoU值仅为77.58%。相比之下，DeepLabV3+在背景、松散、桥接缝的IoU值均达到了较高水平，并且就MIoU而言，其在所有模型中最高。

（二）实地验证

在全长为6.5km的路段上（数据集DB1），利用本文方法对异常车辙深度进行了校正。首先，选择最大车辙深度大于10mm的图像，作为车辙异常校正的目标图像。然后，通过语义分割模型输出病害识别与分割结果，利用前述异常车辙深度校正方法，分别对不同类型病害造成的异常车辙进行校正。

图5（a），（b）分别为裂缝二维和三维图像，共同构成双通道图像作为语义分割模型的输入数据，（c）为裂缝病害的预测图，（d）为车辙深度异常值校正前后各横断面最大车辙深度值构成的全断面车辙深度曲线。若路面横断面出现病害，车辙深度曲线将出现较大的跳跃，表现为单帧或连续的2~3帧突变，如校正前曲线的第445~448帧．实际车辙在曲线上是连续的，如校正后曲线在第208~213帧，车辙深度值由低到高依次增大，再由高到低依次递减。

图6显示了所有车辙深度异常图像在校正前和校正后的最大车辙深度曲线，并且还标记了造成车辙异常的病害类型，其中横坐标为图片编号，纵坐标为单张图片的最大车辙深度值。为进一步评价路面车辙状况，引入车辙深度指数（RDI）。

上述结果证明，本文提出的车辙异常校正方法可以提高车辙深度测量精度，最大程度获得真实的路面车辙深度。

（1）由于现有车辙检测技术在计算车辙深度时没有考虑具有三维特征的路面破损如坑槽、松散、裂缝和桥接缝的影响，测量结果与真实值存在较大误差。本文提出了一种基于语义分割模型的沥青路面车辙深度异常检测与校正方法。

（2）从双通道路面图像库中选择4000张二维和三维图像作为语义分割模型的输入，对DeepLabV3+模型进行训练。通过对500张测试图像的比较，DeepLabV3+在绝大多数病害的IoU以及MIoU值上有比U-Net、PSPNet更好的性能表现，5种路面特征和病害的综合检测准确率达到81.63%。最后，对于存在病害的图像，根据模型识别出的病害类型，基于本文提出的方法对车辙异常值进行校正。

（3）对该方法进行实地验证。实验结果表明，该方法能通过语义分割模型识别车辙异常的原因，同时，校正后的车辙深度更准确地反映了实际车辙水平。今后，将进一步研究车辙与路面破损和平整度之间的关系，以辅助路面养护决策。