SemanticNeRF：基于 NeRF 的语义分类方法

Paper: Zhi S, Laidlow T, Leutenegger S, et al. In-place scene labelling and understanding with implicit scene representation[C]//Proceedings of the IEEE/CVF International Conference on Computer Vision. 2021: 15838-15847.
Introduction: https://shuaifengzhi.com/Semantic-NeRF/
Code: https://github.com/Harry-Zhi/semantic_nerf/

Semantic-NeRF 是一种基于 NeRF 的三维场景语义表示方法，通过将语义信息注入 NeRF，实现了几何、外观和语义的联合隐式表达，能够完成语义标注、语义视图合成、语义类别的超分、去噪、插值，以及多视角语义标签融合等任务。

Semantic-NeRF 所做的任务就是增加 NeRF 语义分类的功能，在 NeRF 的 MLP 网络基础上增加对场景语义信息的处理和输出。Semantic-NeRF 还通过实验表明，三维隐式表达的连续性和多视角一致性使得 Semantic-NeRF 仅依靠稀疏或含噪声的语义标签，便能获得准确的室内语义标注和理解。¹

一. 研究思路

三维场景的语义类别标注和场景的几何外形关系密切，因为相同几何外形的场景更有可能属于一个语义类别。但仅仅根据几何外形对场景的语义类别进行聚类还远远不够，一些细致的语义分类还需要人为标注的先验。

Semantic-NeRF 在 NeRF 的 MLP 网络基础上增加对场景语义信息的处理和输出，使用含有稀疏或噪声语义标签的场景视图弱监督训练 NeRF，学习得到场景的几何、外观和语义信息。

二. SemanticNeRF 模型

SemanticNeRF 在 NeRF 的 MLP 网络基础上增加对场景语义信息 (semantics) 的处理和输出，显然语义信息应该只与空间位置 $\mathbf{x}$ 有关：

推理时，对于待渲染视图中的每个像素点，仿照 NeRF 中颜色的积分方式对语义信息进行积分即可得到该像素点的语义：
$$\begin{gathered} \hat{\mathbf{S}}(\mathbf{r})=\sum _{k=1}^K\hat{T}\left(t_k\right)\alpha \left(\sigma \left(t_k\right){\delta }_k\right)\mathbf{s}\left(t_k\right), \\ \text{where}\hat{T}\left(t_k\right)=\exp \left(?\sum _{k^{\prime }=1}^{k?1}\sigma \left(t_k\right){\delta }_k\right) \end{gathered}$$

训练时，在 NeRF 的损失函数基础上添加语义损失，语义损失使用交叉熵函数：
$$\begin{gathered} L=L_p+\lambda L_s \\ \text{where}{L}_p=\sum _{\mathbf{r}\in \mathcal{R}}\left[{\Vert {\hat{\mathbf{C}}}_c(\mathbf{r})?\mathbf{C}(\mathbf{r})\Vert }_2^2+{\Vert {\hat{\mathbf{C}}}_f(\mathbf{r})?\mathbf{C}(\mathbf{r})\Vert }_2^2\right], \\ {L}_s=?\sum _{\mathbf{r}\in \mathcal{R}}\left[\sum _{l=1}^L{p}^l(\mathbf{r})\log {\hat{p}}_c^l(\mathbf{r})+\sum _{l=1}^L{p}^l(\mathbf{r})\log {\hat{p}}_f^l(\mathbf{r})\right], \end{gathered}$$

场景的训练视图不仅包含相机机位信息，还包含语义类别，不过这些语义信息中只有少量真实标签，和一些噪声标签。

三. 实验结果

语义视图合成：

语义类别去噪：

语义标注：

语义类别超分：

动画效果见 In-Place Scene Labelling and Understanding with Implicit Scene Representation。

四. 总结

Semantic-NeRF 在 NeRF 的基础上增加了语义分类的功能，实现了几何、外观和语义的联合隐式表达，能够完成语义标注、语义视图合成、语义类别的超分、去噪、插值，以及多视角语义标签融合等任务。鉴于三维隐式表达的连续性和多视角一致性，Semantic-NeRF 可以仅依靠稀疏或含噪声的语义标签，便能获得准确的语义分类。

不直接使用 Semantic-NeRF 进行场景编辑是因为需要重新训练 NeRF，效率太低。

---

1. 11、Semantic-NeRF ??