3D Copy-Paste：单目3D场景物体插入

相关工作

单目3D目标检测

单目3D物体检测是通过单个2D图像估计物体的3D位置、方向和尺寸（3D边界框）。它在自动驾驶、机器人技术和增强现实等领域具有潜在应用。在驾驶场景中有许多单目3D检测的研究，如3DOP、MLFusion、M3D-RPN、MonoDIS、PseudoLiDAR、FCOS3D、SMOKE、RTM3D、PGD和CaDDN。几何方法：MV3D利用基于LiDAR的点云和图像的几何线索进行3D物体检测。Mousavian等人通过几何约束从2D边界框回归物体属性，如尺寸、方向和位置。在室内场景中，多任务学习得到了广泛应用。PointFusion等最近的研究将3D物体检测与深度估计或语义分割等任务相结合，以提高性能。Total3D和Implicit3D使用端到端的解决方案从单个图像中联合重建房间布局、物体边界框和网格。ImvoxelNet通过使用图像体素投影实现了最先进的性能。

3D数据增强

方法

本文提出了一种室内三维物体插入方法，包括确定插入位置、姿态和大小，避免与现有物体碰撞；估计场景的光照和渲染插入的物体；使用插入的物体创建增强数据集并训练单目三维物体检测模型。该方法可以生成真实感强的室内场景。

位置和方式：物理上合理的位置、姿势和大小估计

在插入物体时，避免碰撞的第一个挑战是估计物体的位置、姿态和大小参数。需要考虑物体的物理特性，以确保估计的参数是合理的。

地平面选择

首先进行平面重建，识别场景中可用的区域，然后估计物体的位置、大小和姿态。通过使用聚类和区域生长等方法提取平面，再利用全局优化方法进行平面优化和重建，最终选择合适的水平平面插入物体。

有约束的插入参数搜索

为了解决物体放置的问题，我们估计了具体的插入参数：位置（p）、大小（s）和姿态（o）。我们提出了一种高效的受限插入参数搜索算法来计算合理的插入参数，同时避免与场景中现有物体的碰撞（算法1）。给定重建的地板平面，我们首先确定每个参数的搜索空间。对于位置，我们希望插入的物体与地板接触，因此我们找到物体的3D边界框，并计算底部表面的中心点（p）作为位置的优化参数。为了防止插入的物体与原始场景中的现有物体发生潜在碰撞，我们在重建地板的中心周围搜索合适的位置。如图2(b)所示，我们首先计算地板的中心c ← (c x , c y , c z )，并设置一个搜索正方形，其宽度和长度分别为地板在X轴和Y轴上的标准差的两倍，σ x 和σ y 。插入位置从搜索正方形内的均匀分布中采样 p x ∼ U[c x − σ x , c x + σ x ] 和 p y ∼ U[c y − σ y , c y + σ y ]，p ← (p x , p y , c z )。对于大小（s），我们使用物体的3D边界框的高度作为优化参数。对于每个物体类别，我们首先计算原始场景数据集中属于同一类别的物体高度的平均值 m h 和标准差 σ h 。然后我们假设高度大小遵循正态分布，并从该正态分布中采样一个高度大小：s ∈ N(m h , σ h )。对于姿态（o），我们只允许物体沿Z轴旋转以保持其稳定性。优化参数是沿Z轴的旋转角度，其遵循均匀分布 o ∼ U[ − π, π ]。

本文介绍了一种基于约束插入参数搜索算法的物体插入方法。该算法通过随机采样物体的位置、大小和姿态等参数，并计算插入物体的边界框，检查与现有物体的碰撞情况，并量化评估碰撞程度。为了加速碰撞检测，该算法将三维碰撞转化为二维碰撞，利用高效的碰撞检测方法，可以在较短时间内完成大量搜索。该算法还考虑了插入物体的缩放因子，以适应不同的场景。在搜索过程中，如果找到了一个碰撞得分为0的插入位置，则终止搜索并返回该位置。否则，继续跟踪得分最低的插入位置，并在完成一定数量的搜索后返回。

物体上的光照是怎样的

空间变化光照估计与检索

通过深度逆渲染框架来估计场景的空间变化照明，并将其表示为环境贴图。首先，估计中间几何特征，然后使用LightNet结构来估计场景中的空间变化照明。估计的照明以环境贴图的形式表示，每个4×4像素区域与一个环境贴图相关联。为了获取插入对象位置的环境贴图，需要进行位置估计和参数搜索。

环境地图精化

为了在渲染器中重新照明插入的对象，需要将环境贴图转换为与渲染器的坐标系对齐。估计的环境贴图只包含纬度范围在(0, π /2)之间的值，需要通过填充人工值来完成整个环境贴图。估计的环境贴图是低动态范围格式，需要通过调整比例来估计高动态范围值。最终将转换和精细化后的HDR环境贴图与位置、大小和姿态一起输入插入渲染器，以获得带有3D边界框的插入图像。

通过插入和下游模型训练进行数据集增强

给定一个室内场景数据集和一组感兴趣的类别C，我们可以识别出属于这些感兴趣类别的外部3D对象集合E。在插入之前，我们计算每个感兴趣类别的统计参数，以指导外部对象的插入。对于每个室内场景，我们随机选择一个感兴趣类别C中的类别j。然后，我们从外部3D对象集合E中随机选择一个属于选定类别j的实例。接下来，我们使用物理可行的插入方法将这个外部3D对象整合到场景中。由于我们自动获得了插入对象的3D注释，我们可以使用增强的数据集来训练任何下游的单眼3D物体检测模型。

物理上合理的位置、姿态、大小和光照会带来更好的单目检测性能

实验结果表明，使用3D Copy-Paste可以提高模型性能，特别是在应用物理约束和动态光照的情况下，可以达到新的最优性能。该方法可以作为一种有效的数据增强方法，有助于提高3D物体检测的性能。

表4展示了在ScanNet数据集上进行单目3D物体检测的结果。我们使用每个视频的一个RGB-D图像进行训练和验证，其中训练集有1,201个图像，验证集有312个图像。我们根据提供的场景级标签为每个视角计算了真实的3D边界框标签。对于基准模型，我们在训练集上训练了一个ImVoxelNet单目3D物体检测模型，并在验证集上进行测试。对于我们的方法，在ScanNet的18个类别中，我们的Objaverse数据中有8个重叠的类别（沙发、书架、椅子、桌子、床、写字桌、马桶、浴缸）。我们使用我们的3D复制粘贴来增强训练集，并训练了一个ImVoxelNet模型。所有的训练参数与在SUN RGB-D数据集上的训练相同。表4展示了8个重叠类别（mAP@0.25）的平均准确率结果。我们的3D复制粘贴将ImVoxelNet的mAP提高了2.8%。

嵌入光照和位置对单目三维目标检测影响的消融研究

光照对插入物体的影响以及全局上下文对单目3D物体检测任务的重要性进行了探索。光照不仅影响人眼对插入物体的视觉感知，还显著影响下游检测任务的性能。因此，准确和物理合理的光照估计对于理解场景和实际应用下游检测任务至关重要。全局上下文的考虑与随机类别选择设置相当，并且下游检测模型对此可能不敏感。

定性分析

在SUN RGB-D数据集上展示了单目3D物体检测的定性结果。该方法在检测具有显著遮挡的物体、提供改进的姿态估计和有效抑制误报方面具有增强能力。