上海交通大学智能网联电动汽车创新中心贺越生老师团队在机器人旗舰会议IROS会议上发表题为 "An Online Automatic Calibration Method for Infrastructure-Based LiDAR-Camera via Cross-Modal Object Matching" 的研究论文，为场端激光雷达—相机外参在线自动标定提供了有效的解决方案。利用基于轻量级目标检测算法的目标先验性模型快速检测出有利于外参标定的场景，在几乎不降低时效、耗费算力的情况下，提高激光雷达—相机外参标定精度和稳定性。

在没有全球卫星导航系统的室内场景中，场端激光雷达—相机联合阵列可以为移动机器人提供高精度定位（如AVP），而场端激光雷达—相机联合阵列应用的第一步要解决的问题是激光雷达和相机外参标定，同时为了避免在运行中受到振动或安装刚度不足等出现干扰偏移，标定的外参结果需要能够在线自动更新。本文旨在解决场端激光雷达—相机在线自动标定问题，提高标定精度和稳定性。

目前，激光雷达—相机标定已经得到了积极的研究，如寻找相机和激光雷达3D-2D目标特征对应的研究，然后将找到的特征对应关系输入到用于估计LiDAR-Camera相对位姿的各种优化算法中。现有方法有设计了类似棋盘的特定人工目标，更有一些提出无需特定的人工靶标的标定方法，通过匹配低级或语义级别的跨模态特征来估计LiDAR-Camera外参数。对于这些方法，均需要一个粗略的初始位姿估计作为先决条件。

为综合解决上述问题，论文提出了一种基于跨模态配准的激光雷达—相机标定方法，利用一个轻量级目标检测算法筛选有利于外参标定的场景，利用跨模态配准网络找到图像和点云深度图像重叠视场中的对应目标进行配准。基于目标配准关系收集2D-3D特征点对，最后运用图像像素与点云的对齐程度求解初始化位姿，物体像素与物体点云对齐优化位姿。

原文信息：

Tao Wang, Yuesheng He*, Hanyang Zhuang, and Ming Yang, An Online Automatic Calibration Method for Infrastructure-Based LiDAR-Camera via Cross-modal Object Matching, 2024 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS2024), Oct. 14-18, 2024, Abu Dhabi, UAE

王涛，上海交通大学电子信息与电气工程学院自动化系控制科学与工程专业硕士研究生。主要研究方向是面向室内自主代客泊车的异构传感器阵列标定方法研究。研究成果在IROS和T-OJITS上发表。

贺越生，上海交通大学电子信息与电气工程学院自动化系助理研究员，毕业于国防科技大学计算机学院以及香港浸会大学计算机科学系，曾任澳门大学科技学院博士后研究员。长期从事人工智能、机器学习、自动驾驶领域的研究工作。中国自动化学会、中国人工智能学会会员。近年以第一/通讯作者在IEEE T-IP, IEEE ROBIO, IEEE ICRA, IEEE IROS发表多篇学术论文。

原文链接：https://mp.weixin.qq.com/s/gHa2xLaLHLMRZoOnfjqpMQ