基于三维模型的目标识别和分割在杂乱的场景中的应用

点击上方“3D视觉工坊”，选择“星标”

干货第一时间送达

在杂波和遮挡情况下，对自由形式物体的识别及分割是一项具有挑战性的任务。本文提出了一种新的基于三维模型的算法，该算法可以有效地执行该任务，对象的三维模型是从其多个无序范围图像离线自动构建的，这些视图被转换为多维，用张量表示，通过使用基于哈希表的投票方案将视图的张量与其余视图的张量匹配，这些视图之间自动建立对应关系，形成一个相对转换图，用于将视图集成到无缝3D模型之前注册视图，该模型及其张量表示构成了模型库。在在线识别过程中，通过投票场景中的张量与库中的张量同时匹配，对于得票最多的模型张量并计算相似性度量，进而被转换为场景，如果它与场景中的对象精确对齐，则该对象被声明为识别和分割。这个过程被重复，直到场景完全分割。与自旋图像的比较表明，本文算法在识别率和效率方面都是优越的。

1.算法框图

（1）离线三维建模

本文对多维视图对应算法使用4d散列表来执行一组对应搜索，如上图中的模块B和C，自动建立自由形式对象的无序2.5d视图之间的对应关系，结果是无序视图之间的相对转换的生成树，用于在基坐标系下粗略地对它们进行配准，使用多视图精细配准(模块D)对配准进行细化，然后将视图集成并重建为无缝三维模型(模块E)。

（2）在线识别与分割

场景的点云被转换成三角形网格，由于性能原因而被抽取。接下来，从这个网格中随机选择一对顶点来构造张量(模块H)。然后，该张量与库中3D模型的张量同时匹配，方法是使用4D哈希表(模块J)将选票投给元组（模型数、张量数）。通过将三维模型转换为场景(模块K)来验证这一假设，如果模型与场景中的对象精确对齐，则该对象被识别和分割(模块L)。分割区域从场景中移除，并重复上述过程，直到场景完全分割或场景中没有进一步的库对象。

2. 张量表示和哈希表的建立

如上图所示，将点云图 (其中是三维坐标的矩阵)转换为三角形网格，由于性能原因，每个被抽取，以获取，然后对的每个顶点和三角面计算法线，如果包含整个物体并完全覆盖其表面，则可以使用（1）计算其近似维数D。

其中是将与其主轴对齐的旋转矩阵。函数取每列中的最大值。然后对所有计算张量。

在构建哈希表时，首先，必须为具有复杂性的每个视图的四个点的所有组合构建哈希表(其中n是每个视图或模型的点数，N是视图/模型的总数)；其次，用表面数据点建立哈希表，使匹配过程对分辨率和表面采样敏感，本文采用几何散列的变体进行多视图张量匹配，在本文的变体中，哈希表是从张量有效地构造出来的，而不会进入数据点的组合爆炸。此外，张量表示视图的局部表面补丁而不是数据点，因此这使得哈希表匹配过程独立于视图的分辨率和表面采样。

3. 自动多视图对应

（1）连通图算法

图1

如上图a显示了hasi的33个视图的连通图算法的跟踪，该算法选择具有最大表面积的网格M_R作为根节点来初始化生成树图，然后，M_R的张量与搜索空间中剩余网格的张量匹配，具有匹配张量的节点从搜索空间中移除，并以表示两个节点之间刚性变换的圆弧连接到M_R，当M_R的所有张量都匹配，从生成树中选择另一个节点，其张量与搜索空间中剩余节点的张量匹配，此过程继续进行，直到所有节点都添加到生成树，每次将新节点添加到生成树时，搜索空间都会减少，这为算法提供了进一步的效率。

（2）超图算法

图2

该算法的输出结果也是一棵生成树，然而，施工方法是不同的。如上图2（b）显示了超图算法的流程图，而图1（b）显示了它的踪迹。该算法制作单独的子图，其也是生成树的。每个子图是通过选择一个根节点并通过将根节点的张量与搜索空间中剩余节点的张量匹配来连接到它的。当根子图节点的所有张量与搜索空间中的剩余节点匹配时，从剩余节点中选择另一个子图根节点。根节点是在最大表面积的基础上选择的。这个过程一直持续到子图已经从所有节点构造出来，并且搜索空间中没有更多的节点。

4. 全局匹配、集成和重建(模块D和E)

生成树用于通过串联转换将所有视图注册在根网格M_R的坐标基础上。为了避免注册错误的积累，这可能会导致生成树的远视图之间的接缝，注册是用Williams的修改版本和Benna moun的全局注册算法改进的。最后，使用vrippack（体积范围图像处理包）将注册的视图合并成一个无缝的三维模型，该模型使用Curless和Levoy的体积积分算法进行积分，并运用立方体算法进行重建。

5. 结论

本文提出了一种基于三维模型的全自动自由形式物体识别和分割算法，在离线三维建模阶段的主要贡献是一种多视图对应算法，它自动注册具有复杂性的对象的无序视图。本文证明了该算法对许多重要准则的鲁棒性，在在线阶段的主要贡献是在杂波和遮挡存在下自动三维目标识别和分割的有效算法。对合成数据和真实数据进行了实验，总体识别率为95。与自旋图像识别算法的比较表明，本文算法在识别率和效率方面都是优越的，而且还证明了本文算法的识别时间对模型库的大小不敏感。

参考文献

[1]D. Huber and M. Hebert, “3D Modeling Using a Statistical Sensor Model andStochastic Search,” Proc. IEEE Int’l Conf. Computer Vision and PatternRecognition, pp. 858-865, 2003.

[2]D. Huber, A. Kapuria, R. Donamukkala, and M. Hebert, “Parts-Based 3D ObjectRecognition,” Proc. IEEE Int’l Conf. Computer Vision and Pattern Recognition,vol. 2, pp. 82-89, 2004

本文仅做学术分享，如有侵权，请联系删文。

推荐阅读：