nest response包装 nerf包装

前言

NeRF从2020年发展至今，仅仅三年时间，而Follow的工作已呈井喷之势，相信在不久的将来，NeRF会一举重塑三维重建这个业界，甚至重建我们的四维世界（开头先吹一波）。NeRF的发展时间虽短，有几篇工作却在研究领域开始呈现万精油趋势：

• PixelNeRF----泛化法宝
• MipNeRF----近远景重建
• NeRF in the wild----光线变换下的背景重建
• NeuS----用NeRF重建Surface
• Instant-NGP----多尺度Hash编码实现高效渲染

本篇是NeRF必读系列的最后一篇：NeRF in the Wild. 该篇主打一个Appearance Embedding, 由于该方法在生活场景中的普适性被大范围的使用，可以说再以后NeRF的文章中，NeRF-W将成为一篇难以避开的引用文章。

先插一句题外话，现在各行各业都流行一个通用的Framework, 例如搞detection的都有MMCV，MMDETECTION。基于Framework可以快速迭代自己的idea，在知识迅速爆炸的今天，学会各行各业的框架可谓是至关重要！所以在结束本期的paper解析之后，我将开启NeRFStudio系列的解析文章，开始NeRF领域的迅速迭代之旅！在此奉上NeRFStudio的pipeline，可以发现大部分文章我们都已经在前文中学习，仅剩下NeRF-W以及NeRF减减没有解析。下面补齐这两篇。

NeRF-W Main Contributions

1. Appearance Variations Embedding: 户外场景下被重建物体的曝光度，光线，季节、天气等的变换都会影响物体给出的appearance, 作者构造了一个Embedding层用来表征$\nabla V_{apprearance}$的低维描述
2. Transient Embedding：作者利用将一张图像分解为场景共享部分（shared elements）和依赖于图像的瞬息部分（transient elements，如名胜古迹照的游客）,并利用一个Transient Embedding层无监督地将这两个部分分解开来。具体的pipeline 如下：

经典Volumetric Rendering：

Latent Appearance Modeling

这一段在论文中4.1节，非常简约，作者给每张image分配了一个关联的隐编码$\mathcal{l}^{(a)}_i$,$\mathcal{l}^{(a)}_i$会随着训练被优化，优化后的公式如下：
$\hat{\mathbf{C}}_i(\mathbf{r})=\mathcal{R}(\mathbf{r, c},\sigma)\\ \bf{c}_i(t)=MLP_{\theta_2}(\bf{z}_t,\gamma_d(d),\mathcal{l}^{(a)}_i)$
关于$\mathcal{l}^{(a)}_i$的故事我会在后面详细述说，感兴趣的读者可以三连，点赞破10我加班更新，扑哧~

Transient Objects

参考文献

Martin-Brualla, Ricardo, et al. “Nerf in the wild: Neural radiance fields for unconstrained photo collections.” Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2021.