| Title | Ref-NeRF: Structured View-Dependent Appearance for Neural Radiance Fields |
|---|---|
| Author | Dor Verbin and Peter Hedman and Ben Mildenhall and Todd Zickler and Jonathan T. Barron and Pratul P. Srinivasan |
| Conf/Jour | CVPR 2022 (Oral Presentation, Best Student Paper Honorable Mention) |
| Year | 2022 |
| Project | Ref-NeRF (dorverbin.github.io) |
| Paper | Ref-NeRF: Structured View-Dependent Appearance for Neural Radiance Fields (readpaper.com) |
贡献：
- 借鉴Mip-NeRF的IPE，提出一种新的IDE来编码方向向量
- 表面法向通过Spatial MLP来预测，并通过$\mathcal{R}_{\mathrm{p}}=\sum_{i}w_{i}|\hat{\mathbf{n}}_{i}-\hat{\mathbf{n}}_{i}^{\prime}|^{2},$来正则化使得预测得到的法向量和进一步计算的反射更加平滑
- 这些MLP预测的法线往往比梯度密度法线更平滑
- $\hat{\mathbf{n}}(\mathbf{x})=-\frac{\nabla\tau(\mathbf{x})}{|\nabla\tau(\mathbf{x})|}.$Eq.3
- 计算反射光的新渲染方式$\mathbf{c}=\gamma(\mathbf{c}_d+\mathbf{s}\odot\mathbf{c}_s),$
- $\hat{\mathbf{\omega}}_r=2(\hat{\mathbf{\omega}}_o\cdot\hat{\mathbf{n}})\hat{\mathbf{n}}-\hat{\mathbf{\omega}}_o,$ Eq.4
- $L_{\mathrm{out}}(\hat{\mathbf{\omega}}_{o})\propto\int L_{\mathrm{in}}(\hat{\mathbf{\omega}}_{i})p(\hat{\mathbf{\omega}}_{r}\cdot\hat{\mathbf{\omega}}_{i})d\hat{\mathbf{\omega}}_{i}=F(\hat{\mathbf{\omega}}_{r}).$ 借鉴此BRDF，提出的Direction MLP 得出$c_s$
- 漫反射颜色$c_d$通过Spatial MLP预测得到
- s是高光色调
- 将空间MLP输出的瓶颈向量b传递到Direction MLP中，这样反射的亮度就可以随着3D位置的变化而变化。
- $\mathcal{R}_{\mathrm{o}}=\sum_{i}w_{i}\max(0,\hat{\mathbf{n}}_{i}^{\prime}\cdot\hat{\mathbf{d}})^{2}.$ 正则化项惩罚朝向远离相机的法线
局限：
- 编码导致的速度慢，和Spatial MLP的loss反向传播速度比Mip-NeRF慢
- 没有明确地模拟相互反射或非远距离照明
- 忽略互反射和自遮挡等现象
