上海交通大学智能网联电动汽车创新中心秦通老师团队在智能驾驶领域顶刊IEEE Transactions on Intelligent Transportation Systems (T-ITS)上发表题为“Crowd-Sourced NeRF: Collecting Data From Production Vehicles for 3D Street View Reconstruction” 的研究论文。文章提出将众包方式收集的量产车辆图像与NeRF模型相结合，解决大规模3D场景重建数据难题。

3D场景重建是个长期研究热点，传统的Structure-from-Motion (SfM) 方法能够从多角度拍摄的2D图像中重建3D模型，但是忽略了逼真的纹理渲染。近年来，Neural Radiance Fields (NeRF) 作为一种基于学习的方法，通过隐式表示场景在新颖视角合成方面取得了显著成果，能够实现高保真度和逼真的图像合成。然而，NeRF在大规模城市建模中受限于数据收集的可扩展性和成本。Block-NeRF提出将城市划分为多个小块以扩展NeRF，但它依赖于配备高分辨率相机和精密定位硬件的专业车辆收集的数据，这使它在广泛城市环境中的扩展性受限。

为综合解决上述问题，本文提出了一种众包框架（CS-NeRF），利用量产车辆获取的大量数据来重建NeRF模型的场景。这个框架解决了大规模重建中数据来源及其使用方法的关键问题。文章首先对众包数据进行过滤，去除冗余并保持时空分布的平衡。然后执行从运动中恢复结构的模块来优化相机姿态。最终，使用这些图像和姿态来训练特定区块中的NeRF模型。

文章还提出了三个改进点：序列外观嵌入、地面表面深度监督和遮挡完成。通过大量众包数据的实验，验证了所提出系统的性能。此外，文章还提出了一个名为“首次视角导航”的应用，利用NeRF模型生成3D街景，并用合成视频指导驾驶员，为驾驶员带来了全新体验，丰富了智能车辆应用的范畴。