FogDrive：面向分级雾天感知的多模态合成驾驶数据集

arXiv:2607.22698v1 公告类型：新
摘要：在恶劣天气条件下的感知仍然是实现可靠自动驾驶的关键瓶颈，然而现有的基准测试缺乏用于评估鲁棒传感器融合的系统性多模态对齐。真实世界中的天气数据集存在采集过程不可控、场景条件单一且未校准的问题；而合成数据集要么仅针对纯相机的去雾任务，要么缺少“先去雾再检测”流水线所需的清晰与雾霾成对标注结构。我们提出了FogDrive，这是一个经过严格校准的多模态自动驾驶数据集，旨在连接以数据为中心的工程实践与鲁棒机器学习研究。FogDrive基于CARLA仿真器构建，包含660个场景（约13.3万帧全标注数据，昼夜各占50%），涵盖四路同步相机（RGB、深度、语义分割）、一套激光雷达与语义激光雷达，以及前置毫米波雷达。物理上一致的雾效分别在相机通道（采用Koschmieder模型）和激光雷达通道（遵循Beer-Lambert定律）上独立建模，并设置三种校准后的能见度等级（160米、100米、50米）。每个场景提供四种匹配变体（清晰场景及三个渐进的雾霾等级），并配有跨模态校准的2D与3D边界框标注。基于语义分割的质量审核在8,000张图像上进行，结果显示，在40米范围内，车辆标注的精确率为95.1%，召回率超过99%。我们采用当前最先进的架构（TransFusion、BEVFusion、YOLOv8-m），在两种范式下建立了基准：3D多模态融合与2D图像复原。这些实验揭示了重要的以数据为中心的洞见：在训练中混合使用多密度雾效能够在不增加数据规模成本的情况下提升3D边界框的几何精度；而在2D流水线中，图像质量指标（PSNR、SSIM）被证明是下游检测性能的较差预测因子。FogDrive将连同我们的数据生成框架一同完全开源，以加速鲁棒的多模态研究。