最火的AI技术之NeRF三维重建

三维重建

前言

要说这两年哪个AI技术最火爆，NeRF绝对是其中最火爆的技术之一，随意截取了计算机视觉在哔哩哔哩发布的NeRF部分应用，可谓应用广泛，前景无限美好。

一、什么是NeRF

NeRF（Neural Radiance Fields）是最早在2020年ECCV会议上的Best Paper，其将隐式表达推上了一个新的高度，仅用 2D 的 posed images 作为监督，即可表示复杂的三维场景。一石激起千层浪，自此之后NeRF迅速发展起来被应用到多个技术方向上例如新视点合成、三维重建等等，并取得非常好的效果，其影响力是十分巨大的。

NeRF其输入稀疏的多角度带pose的图像训练得到一个神经辐射场模型，根据这个模型可以渲染出任意视角下的清晰的照片，如下图所示。也可以简要概括为用一个MLP神经网络去隐式地学习一个三维场景。

二、NeRF有哪些应用

NeRF最先是应用在新视点合成方向，由于其超强的隐式表达三维信息的能力后续在三维重建方向迅速发展起来。接下来介绍下NeRF的几个主流应用方向。

新视点合成（View Synthesis）
项目主页：https://www.matthewtancik.com/NeRF
物体精细重建
项目主页：https://jonbarron.info/mipNeRF360
城市大场景重建
项目主页：http://waymo.com/research/block-NeRF
人体重建
项目主页：https://zhaofuq.github.io/humanNeRF/
3D风格迁移
http://intelligentgraphics.net/StylizedNeRF/paper.pdf
镜面反射场景重建
项目主页: https://bennyguo.github.io/NeRFren/