3D-HEVC中的编码关键技术

图(1) 3D编码框架图

3D-HEVC采用多视角加深度图(MVD)的格式来表示编码的3D视频。其中包括独立视角的编码(unmodified)上图中的蓝色部分，和修改的HEVC编码器用于减少冗余度。

1. 视差补偿预测(DCP)

图(2) DCP as an alternative to motion-compensated prediction

MCP是参考同一视角下的以编码图像的帧间编码，而DCP是参考不同的视角下视角间的编码如上图中所示，其中的R代表搜索的参考序列及顺序。

2.层间运动参数预测

图(3)层间运动参数预测

由于MVD的不同视角是从不同的方向得到3D画面的，因此不同的视角间的非常相似，相关性很大。所以不同视角的同一画面的运动参数及其相似，即可以从编码的块中得到当前块的运动参数。如上图所示。

3. 层间残差预测

图(4) 层间残差预测

如上图所示，Dc为当前视角下的当前块，Bc为参考视角下的同时刻的的参考块。Dr为同一视角下的帧间预测，Vd表示运动向量(MCP)。由于Bc与Dc是不同视角下的同一时刻下的预测，所以两个块有相同的运动信息。因此，Bc在参考视角中的时间预测Br可以通过Bc加上Vd运动信息得到；Bc的残差加上Vd运动信息，再乘以加权值就可以得到当前的的残差。

4. 深度模型模式(DMM)

由于深度图代表的是物体离镜头的远近，在一些边缘上就存在高频信息。采用原始的HEVC编码edge，就会使边界更加平滑，最生成的虚拟视点就会出现边角的相互重叠或者是背影映射到前景上……从而失去真实的3D效果。修改的深度图帧内编码去掉了in-loop filters包括(the de-blocking filter、the adaptive loop filter、the sample-adaptive loop filter);使用the transmitted motion vector differences are coded using full-sample instead of quarter-sample precision.

为了更好的帧内sharp edge编码增加了4种编码方式，采用非矩形区域划分如下图所示。

图(5) Wedgelet partitionand Contour partition ,respectively

· Mode1：直接的锲型标记

· Mode2：帧内预测的锲型预测

· Mode3：锲型分割的层间预测

· Mode4：轮廓分割的层间预测

在JCT-3DJ1003文档中的Wedgelet 划分如下：

图(6) Wedgeletpartition

在使用Wedgelet 划分是，如果对实时没有要求就可以采用直接搜索的方法，通过计算失真度来确定最佳的划分方式。但这种计算量比较大，对于实时编码达不到要求，因此，必须找到最佳的划分方式。我们知道深度图中大部分的区域是比较平滑，大约为一固定值，如果此时不加以分辨的话任然采用wedgelet划分就会浪费掉大量的时间，所以跳过这些planner 区域就能大大的减少计算时间.(from fast depth modeling mode selection for 3D HEVC intra coding)

期间还有人做了基本色+索引值(BCIM)算法