自适应模态融合蒸馏（AMFD）框架作为一种全新的蒸馏方法，能够有效压缩多光谱目标检测网络。在多光谱检测中，流行的双流网络对多模态数据采用了两个独立的特征提取分支，导致推理时间比仅使用一个特征提取分支的单流网络多出近一倍。与传统的蒸馏方法不同，AMFD 框架充分利用了教师网络的原始模态特征，这种方法使学生网络能够获得独立于教师网络的最佳融合策略，而无需额外的特征融合模块，大幅度提高了模型压缩效果。

代码：https://github.com/bigD233/AMFD

上海交通大学多光谱目标检测数据集（SMOD）用于目标检测任务。该数据集包含 8676 对红外与可见光图像对，其中共标注有8042个行人、10478个骑行者、6501辆自行车和6422辆汽车。所有目标的遮挡程度均被精细标注。该数据集采样率较低，但在3298对夜间图像中密集包含了大量骑行者与行人目标，且具备丰富的光照变化特性，为复杂场景下的检测研究提供了有力支持。

图像采集设备为 Asens FV6，这是一种双目车载相机平台，由一个可见光摄像头和一个红外摄像头组成。由于不同传感器摄像头存在视场差异，已对可见光图像进行了裁剪与配准，使图像对严格对齐。文中展示了不同相机视场差异以及配准后的可见光图像，此外还提供了未配准的图像对及其标注信息，以供研究人员探索可见光与红外图像的配准方法。数据集中包含5378对白天场景图像（拍摄时间为下午3点）和3298对夜间场景图像（拍摄时间为晚上7点）。

文中对四类目标进行了标注：行人（pedestrians）、骑行者（riders）、汽车（cars）和自行车（bicycles）。值得注意的是，每一类目标都被精确标注了其遮挡程度。遮挡情况根据目标被遮挡的比例被划分为四个等级：

1. 无遮挡（NO, No Occlusion）

2. 轻度遮挡（LO, Light Occlusion）

3. 中度遮挡（MO, Moderate Occlusion）

4. 重度遮挡（HO, Heavy Occlusion）

该分级为遮挡环境下的多目标检测与感知任务提供了更细粒度的标注支持，有助于提升模型在复杂场景中的鲁棒性与泛化能力。

数据集：https://www.kaggle.com/datasets/zizhaochen6/sjtu-multispectral-object-detection-smod-dataset

联系方式： czz-000@sjtu.edu.cn, qianyeqiang@sjtu.edu.cn, xiaoxiaoyang7021@gmail.com