基于图像的三维物体重建:在深度学习时代的最新技术和趋势综述之三维曲面解码...
点击上方“ 3D视觉工坊 ”,选择“星标” 干货第一时间送达 1. 三维曲面解码 基于体积表示的方法在计算上非常浪费,因为信息只在三维形状的表面或其附近丰富。直接处理曲面时的主要挑战是,网格或点云等常见表示没有规则的结构,因此,它们不容易适应深度学习体系结构,特别是使用CNN的体系结构。本节介绍用于解决此问题的技术,将最新技术分为三大类:基于参数化、基于模板变形和基于点的方法。 1.1 基于参数化的三维重建 与直接使用三角形网格不同,我们可以将三维形状X的表面表示为映射ζ:D→R 3 ,其中D是正则参数化域。然后,3D重建过程的目标是从输入I中恢复形状函数ζ。当D是3D域时,这类方法属于第4节中描述的体积技术。 这里,重点讨论D是正则2D域的情况,它可以是二维平面的子集,例如D=[0,1] 2 ,或者是单位球面,即D=S 2 。在第一种情况下,可以使用标准的2D卷积操作来实现编码器-解码器架构。在后一种情况下,必须使用球面卷积,因为域是球面的。 球面参数化和几何图像是最常用的参数化。然而,它们只适用于0属和盘状表面。任意拓扑的曲面需要切割成圆盘状的曲面片,然后展开成规则的二维区域。找到给定曲面的最佳切割,更重要的是,在同一类别的形状之间找到一致的切割是一项挑战。事实上,单纯地为形状类别创建独立的几何图像并将其输入深层神经网络将无法生成连贯的三维形状曲面。