1 背景概述

在图像上进行2D物品检测，在学术界已有较多的研究，在工业界也有成熟的应用。但是物理空间实际是3D的，在与空间数字化紧密相连的一些应用中，业务往往还需要关注物品的3D位置。通常限制3D物品检测算法及应用的两个原因如下：

a) 数据获取成本

在摄像头非常普及的当下，图像获取是非常容易的。但是带3D信息的深度图或点云获取，则更专业和稀少。

b) 数据处理难度

图像数据本质是规则排列的像素，而3D数据的分布是不规则的：有的稀疏、有的稠密；遮挡部分数据缺失等。不规则的数据格式增加了处理难度。

针对上述问题，如视都进行了研究并积累了较多成果。如视采集了千万量级套数的室内场景数据，利用Galois激光扫描采集点云，或大数据训练的智能算法估算深度，大量的数据为3D检测提供了坚实的基础。在3D检测算法方面，研究、实现多种技术路线，针对不同的需求。

2 算法介绍

在不同的需求中，输入的数据、要求的精度都有差异。可以选择不同的技术路线实现3D物品检测。

2.1 级联式检测（Cascaded Detection）

级联式检测即把整个数据处理流程分为两级并串联：第一级使用图像2D检测；第二级再加入深度图，计算3D物品包围盒的位置。其中，第二级中还可利用相机多视约束关系（Multi-View Constraint），对结果进一步筛选和优化。

这种算法的最大优势是可以直接利用成熟的2D检测结果，但是在提出候选物品时只用到了图像，对深度图或点云包含的物品几何特征没有充分发掘利用。

2.2 基于点云的检测（Point Cloud based Detection）

物品及场景的3D点云，由于不是规则排列的数据，很难像图像那样直接输入神经网络。早期的研究倾向于把3D点云投影到2D图像上，或者对点云进行规则的体素化（Voxelization）后再处理。但这些方法都有量化误差（Quantization Error），让点云失去了原始的精度。

随着 PointNet[1] 及 PointNet++[2] 系列研究开始，算法可以直接从3D点云上提取特征，其中使用一个对称函数（Symmetric Function）对多个点的特征进行一次聚合（Aggregate），使提取的特征具有排列不变性（Permutation Invariance）。这样就能对不规则数据提取稳定的特征。

如视使用 PointNet 为骨干（Backbone）的神经网络提取室内场景点云的特征，再通过物品候选、分类的神经网络，推算家具、电器等物品的3D包围盒。本算法直接对点云进行处理，结果的形状、位置等比级联式算法更加贴合采集的3D数据。

2.3 多模态融合检测（Detection with Multi-Modal Fusion）

单独使用2D图像或者3D点云提出候选物品，都属于单模态检测。它们各自都有一定的局限性：图像不包含准确的3D信息；而点云不包含物品高频的纹理特征。只用图像提出候选物品，则最终的3D位置、尺寸偏差可能较大；只用点云提出候选物品，则难以区分几何外形类似、但实际不同的物品（例如餐桌和办公桌、冰箱和尺寸类似的柜子）。

我们使用多模态融合的检测，即指在物品候选阶段就同时使用从2D图像上提取的纹理特征以及从3D点云中提取的几何特征。把两方面的特征连接在一起后，再通过联合的物品候选、分类的神经网络，推算家具、电器等物品的3D包围盒。

“简单粗暴”地把更多模态的数据堆叠在一起，理论上可以让算法的上限更高，但在工程实践中，可能造成算法模型的过度拟合[3]。为了解决这些问题，我们需要针对性的调整多模态的权重比例，引入多模态联合损失函数（Multi-Modal Joint Loss）、单模态辅助损失函数（Uni-Modal Auxiliary Loss）等，使训练的算法模型能够达到比较理想的状态。最终结果优于单模态算法。

3 行业应用

与空间数字化相关的很多业务，都需要识别或标注目标物体的位置、尺寸、角度等。3D物品检测算法可以被封装成一个基础服务，提供给更外层的应用。以下提供两个应用示例。

3.1 为AI家装设计提供参考方案

通常而言，AI家装设计需要采用复杂的规则或者推荐算法，对家具的摆放位置进行推理。但从另外一个角度来说，如视已经采集了海量的新房样板间数据，其中包含不同户型、不同家具的真实摆放方案，可以为AI设计算法的训练提供参考。而这些真实方案的获取需要依赖人工标注家具位置或者自动的3D物品检测算法。显然，自动算法能够极大提高数据处理流程的效率。

3.2 助力工业设备数字化管理

在某些工业设备区域，企业不仅需要可视化的查看，还需要精确地标注具体设备，录入数字化管理系统。而3D物品检测算法可以降低人工标注工作量，提升运营效率。

4 论文引用

[1] [Charles R. Qi et al. 2017] PointNet: Deep Learning on Point Sets for 3D Classification and Segmentation

[2] [Charles R. Qi et al. 2017] PointNet++: Deep Hierarchical Feature Learning on Point Sets in a Metric Space

[3] [Weiyao Wang et al. 2020] What Makes Training Multi-modal Classification Networks Hard?