上海交通大学智能网联电动汽车创新中心卢俊国老师团队在智能驾驶领域顶刊IEEE Transactions on Intelligent Transportation Systems（T-ITS）上发表题为“TPV-IGKD: Image-Guided Knowledge Distillation for 3D Semantic Segmentation With Tri-Plane-View”的研究论文，为自动驾驶车端实时环境感知、特别是3D点云语义分割提供了一种高精度方法，解决车载硬件资源有限和感知准确度难以平衡的问题。

3D点云语义分割是自动驾驶的研究热点，传统的深度学习网络利用点云空间几何关系预测其语义类别，但因缺少纹理特征导致准确度不足。多模态融合能够发挥不同传感器数据各自的优势，相机作为自动驾驶中又一重要传感器，其采集的图像具有丰富的色彩与纹理特征，被广泛用于与点云特征融合。这类方法在感知准确度上具有出色的表现，但是通常占用大量硬件资源，不适用于自动驾驶实时计算。

为了综合解决上述问题，本文提出了一种基于三视图视角与图像引导的3D点云语义分割框架。首先结合深度分布估计将图像特征反投影至以三视图视角为基准的3D空间，以平衡硬件资源与特征精度。其次在统一3D空间中获取点云与图像的映射关系并进行特征融合，实现不同传感器数据的优势互补。最后通过知识蒸馏，使单一点云预测达到与融合特征相近的预测结果，确保推理实时性与高准确性。

此外，文章还提出使用历史信息克服图像与激光雷达视场角差异的问题，进一步提升多模态融合的效能。通过在大型公开自动驾驶数据集SemanticKITTI与nuScenes以及实际车辆测试的实验验证所提出的方法可有效增强基准模型性能，显著提升了自动驾驶，本文系统的感知能力和应用潜力。

原文信息：

J. -C. Li, J. -G. Lu, M. Wei, H. -Y. Kang and Q. -H. Zhang, "TPV-IGKD: Image-Guided Knowledge Distillation for 3D Semantic Segmentation With Tri-Plane-View," in IEEE Transactions on Intelligent Transportation Systems, vol. 25, no. 8, pp. 10405-10416, Aug. 2024, doi: 10.1109/TITS.2024.3361163.

李嘉晨，上海交通大学电子信息与电气工程学院自动化系2022级硕士研究生，研究方向为自动驾驶感知、计算机视觉。

卢俊国，上海交通大学电院自动化系长聘教授、博导，中国自动化学会“分数阶系统与控制专业委员会"副主任，航空电子综合与体系集成全国重点实验室、系统控制与信息处理教育部重点实验室骨干成员。连续八年入选爱思唯尔(Elsevier)中国高被引学者，连续五年入选全球前2%顶尖科学家榜单。近年发表期刊学术论文100余篇，在5copus上引用超过4800余次，H指数为33；ESl(EssentialScience Indicators)高被引论文4篇、热点论文1篇。现任SCI收录国际期刊Sensors编委，InternationalJournal of Systems,Control andCommunications编委，曾任SCl收录国际期刊InternationalJournal of Bifurcation and Chaos的Guest AssociateEditor等。主持国家自然科学基金5项，长三角科技创新共同体联合攻关重点任务课题1项，上海市自然科学基金1项等纵向科研项目;承担(参与)J科技委重点项目1项，国家科技部国际热核聚变实验堆(ITER)计划专项课题1项，国家自然科学基金重点项目2项，国家863计划重点课题1项等纵向科研项目。主持上海交大——龙马环卫城市智能服务机器人联合实验室项目1项(1500万)等重要产学研合作项目。

原文链接：https://mp.weixin.qq.com/s/ATqiu15ik3ZrJKvHLWPlHA