DCC2023：解码端帧内色度模式生成

?本文来自DCC2023文章《Decoder-side Chroma Intra Mode Derivation in Video Coding》

VVC支持67种帧内预测模式（DC模式、Planar模式和65种角度模式），如果对每个CU的帧内模式编码的话会消耗大量比特，因此ECM中提出了基于梯度的解码端亮度帧内模式生成（Decoder-side Intra Mode Dervation，DIMD）算法。然而DIMD是根据亮度特征设计的算法，没有用于色度分量。

ECM中色度帧内预测模式和VVC类似，包括DM模式（色度直接使用对应亮度的帧内模式）、4种默认模式（Planar、垂直、水平、DC模式）、CCLM和MMLM。所以色度分量能使用的角度模式只能来自DM或默认模式之一，使得色度不能像亮度一样灵活的选择最合适的预测角度。如果允许色度使用更多的角度模式则预测会更准确，但是传输这些模式也会消耗更多比特。由于色度的纹理通常比亮度更简单，所以增加角度模式提高预测准确率带来的收益可能无法覆盖消耗更多比特带来的损失。因此文章提出了解码端帧内色度模式生成（Decoder-side?Chroma Intra Mode Derivation，DCIMD）。

ECM中的DIMD

---

ECM中新增了DIMD工具，DIMD可以基于梯度在编码端和解码端生成亮度帧内预测模式，因此使用DIMD的CU无需在码流中传输模式信息。

使用DIMD时需要使用当前块相邻的亮度像素生成2个角度模式，然后根据2个角度模式和planar模式分别生成预测块，最后将3个预测块加权得到最终的亮度预测块。

图1?DIMD使用的相邻像素

DIMD计算梯度时需要使用相邻第2行/列的重建像素，如图1，对每个像素使用3x3?Sobel算子分别计算水平梯度G_hor和垂直梯度G_ver，水平Sobel算子F_hor和垂直Sobel算子F_ver如公式(1)(2)

计算完梯度后开始构建直方图，直方图对每个角度初始值都是0，

首先对每个相邻像素根据梯度按公式（3）计算θ

θ会被映射到最近的65个角度模式之一，当G_hor和G_ver都是0时θ会被映射为planar模式。对于被映射的角度，其直方图对应的频数增加G，G根据公式（4）计算，

当所有相邻像素处理完后，直方图就构建完毕，从中选择频数最大的两个模式mode1和mode2。

然后根据mode1、mode2和planar模式分别生成预测块，最后将3个预测块按照公式（5）加权得到最终预测块。

其中planar的权重w_planar固定为21/64，剩下的43/61由mode1和mode2根据其在直方图中的频数分配，

DCIMD

---

上面的DIMD仅用于亮度分量，文章提出DCIMD用于处理色度分量。DCIMD可以解决色度分量使用的角度模式少的问题，同时也不需要在码流中传输模式索引。

DCIMD计算时需要使用对应亮度相邻第2行/列的重建像素，以及Cb和Cr分量相邻第2行/列的重建像素，如图2。

当计算色度块时对应的亮度块已经重建完成，且亮度块和色度块相关性更高，为什么这里使用亮度相邻的重建像素而不是直接使用对应亮度块的重建像素？这么做是避免硬件流水线延迟。

图2?DCIMD使用的相邻像素

DCIMD和DIMD过程类似，它使用亮度和色度重建像素一起构建一个直方图，不同之处在于它最终只选择1个模式（直方图中频数最高的模式），Cb和Cr分量都使用该模式。

DCIMD生成的角度模式可能并不能适合所有色度块，所以每个CU都有一个标志位表示是否使用DCIMD。

CIMF

---

DIMD中最终亮度预测块由3个预测块加权得到，这3个预测块都是由空域信息得到。但是色度的纹理比较简单，如果同样使用空域信息得到的几个预测块加权效果不好。

对应色度帧内模式，DM模式、DCIMD模型和4个默认模式都是空域相关的模式，CCLM和MMLM是cross-component相关的模式。由于空域模式和cross-component模式包含不同特征，将它们加权能够提升预测效果。因此文章提出CIMF（Chroma Intra Mode Fusion）。CIMF过程如公式（5），

为了平衡复杂度和效率，ECM中对于CIMF空域模式从DM模式、DCIMD模型和4个默认模式中选择，cross-component模式固定为MMLM_LT。权值由上方和左侧相邻块的模式决定，如图3，

图3?CIMF权值

实验结果

---

实验平台ECM-4.0，实验配置All?intra，结果如表1，DCIMD的YUV BD-Rate为-0.06%/-0.56/-0.54%,DCIMD+CIMF的YUV BD-Rate为-0.07%/-1.17/-1.02%

感兴趣的请关注微信公众号Video Coding