基于OpenCV的车道线识别和障碍物检测

采用传统的数字图像处理方法（边缘检测 ，仿射变换，霍夫变换等）对图像，视频中的轨道进行检测和标注，并标注轨道所处的ROI区域。

在此基础上使用 NN 或者 YOLO5 目标检测深度学习算法进行区域内的障碍物识别，并以一定的指标对效率，效果进行评估

轨道线识别和障碍物检测

轨道线识别

图像预处理

Canny 边缘检测

高斯滤波，计算梯度方向和梯度值，非极大值抑制

高斯滤波

自适应的上下阈值

透视变换

霍夫变换

视频操作

障碍物目标检测

数据集

初步用于轨道线和障碍物识别的数据集基于 OSDaR23 (Open Senser Data for Rail 2023)

多传感器系统：

OSDaR23在德国汉堡录制，包括总共六个RGB相机、三个IR相机、六个激光雷达传感器、一个2D雷达传感器以及位置和加速度传感器(GNSS+IMU)。

注释规范：

OSDaR23中的注释基于标注指南，包括相机和雷达框架中的二维注释几何图形，以及激光点云中的三维立方体和折线。注释了四类22种不同的对象。注释数据集包括各种对象的注释，包括人、自行车、信号、接触网杆、轨道、过渡、道路车辆、动物等。该数据集包含每个对象类别的大量注释，展示了注释对象的多样性。

预测轨迹：

跟踪标识符对于将不同注释映射到同一物理对象并预测对象的未来轨迹以确定碰撞可能性是必要的。数据集必须包含跟踪ID，以使不同注释映射到同一物理对象。

数据集概述：

21个序列，分为45个子序列，总共1,534个注释帧和204,091个注释对象。该数据集包含不同位置和情况的几个较短序列，每个序列有十个帧，以及一些40到100帧的较长序列。最常见的注释对象是人、静态对象如信号、接触网杆、轨道等，以及动态对象如道路车辆和列车。

局限性：

OSDaR23没有提供相关数字地图，信号的注释也没有包括与所属轨道的关联。在没有信号的情况下自动化调车操作需要记录和注释铁路开关处的防护点指示器，而OSDaR23没有提供这种数据。