QiYun

NeRO代码liuyuan-pal/NeRO: [SIGGRAPH2023] NeRO: Neural Geometry and BRDF Reconstruction of Reflective Objects from Multiview Images (github.com)

Zip-NeRF在抗混叠(包括NeRF从空间坐标到颜色和密度的学习映射的空间混叠，以及沿每条射线在线蒸馏过程中使用的损失函数的z-混叠)方面都取得了很好的效果，并且速度相比前作Mip-NeRF 360 提高了24X

mipNeRF 360+基于网格的模型(如Instant NGP)的技术

• 错误率下降8~77%，并且比Mip-NeRF360提速了24X
• 主要贡献：
  • 多采样
  • 预滤波

多采样：train左，test右

Reference

[PDF] NeRD: Neural Reflectance Decomposition From Image Collections
[PDF] SAMURAI: Shape And Material from Unconstrained Real-world Arbitrary Image collections
[PDF] Relighting4D: Neural Relightable Human from Videos
[PDF] Neural 3D Scene Reconstruction with the Manhattan-world Assumption
[PDF] NeROIC: Neural Rendering of Objects from Online Image Collections

对金属反光材质的物体重建效果很好

提出了一种新的光表示方法，颜色由漫反射和镜面反射两部分组成，通过两个阶段的方法来实现

• Stage1：使用集成方向编码来近似光积分，使用shadow MLP对直接光和间接光进行model，学习到了表面几何形状
• Stage2：蒙特卡罗采样固定几何形状，重建更精确的表面BRDF和环境光
  • $\mathbf{c}_{\mathrm{diffuse}}=\frac{1}{N_{d}}\sum_{i}^{N_{d}}(1-m)\mathrm{a}L(\omega_{i}),$
  • $\mathbf{c}_{\mathrm{specular}}=\frac{1}{N_{s}}\sum_{i}^{N_{s}}\frac{FG(\omega_{0}\cdot\mathbf{h})}{(\mathbf{n}\cdot\mathbf{h})(\mathbf{n}\cdot\omega_{\mathbf{0}})}L(\omega_{i}),$

2023.7.26 SOTA

like TensoRF: Tensorial Radiance Fields (apchenstu.github.io)+ Mip-NeRF + NGP

• 类似Mip-NeRF中的采样锥形方法，但是Tri-MipRF使用了与圆锥相切的采样球S=(x,r)，代替Mip-NeRF中的多元高斯圆锥体

  • 采样球的半径通过像素圆盘半径$\dot r$（由像素大小in world Coordinate），焦距f和$t_i$确定

• 类似TensoRF中的分解方法，将空间采样球分解到三个平面上，编码类似NGP中的HashGrid 使用2D平面来存取特征值，构建一个base level:$M^{L_{0}}$，通过downscaling来获得其他level的2D grid平面。

  • 通过base level中interest space的AABB求出$\ddot r$，并联合采样球半径r得到采样球在平面投影的level，根据此level和投影到平面上的二维坐标，在相邻两level $\mathcal{M}_{XY}^{\lfloor l\rfloor}$和$\mathcal{M}_{XY}^{\lceil l\rceil}$的2D grid中采用3线性插值得到采样球的特征值，最后三个分解平面的特征值cat起来作为MLP的一个输入

• 一种更好的渲染视图方法：Hybrid Volume-Surface Rendering

  • 通过在密度场中marching cubes和网格抽取来获得代理网格，粗略确定相机原点到物体表面的距离
  • 对代理网格进行有效栅格化，以获得圆锥体中轴线表面上的命中点，然后我们在距圆锥体中轴线命中点∆t距离内均匀采样球体，这产生2∆t采样间隔。
  • 优点：可以减少需要采样点的数量，且不会影响渲染出来图片的质量

• 优点：

  • fine-grained details in close-up views
  • and free of aliasing in distant views
  • 5 minute and smaller model parameters

• 缺点：

  • 需要使用multi-view segmentation methods将In-the-wildIn数据集中感兴趣的物体提取出来
    • 即需要mask

• novel Kalman-like scene parameterization：将场景参数化，将单位球外背景采样的截头锥参数化到r=2的球体内，单位球内的截头锥不受影响

• efficient proposal-based coarse-to-fine distillation framework：一个提议网络用来获取权重，用来进行精采样，再通过精采样的点根据NeRF 的MLP得到密度和颜色值

• regularizer designed for mipNeRF ray intervals：可以有效消除floaters(体积密集空间中不相连的小区域)和背景塌陷(远处的表面被错误地模拟成靠近相机的密集内容的半透明云)

$\begin{gathered}\mathcal{L}_{\mathrm{dist}}(\mathbf{s},\mathbf{w}) =\sum_{i,j}w_iw_j\left|\frac{s_i+s_{i+1}}{2}-\frac{s_j+s_{j+1}}{2}\right| \+\frac13\sum_iw_i^2(s_{i+1}-s_i) \end{gathered}$

• 一种新的采样方式：锥体采样conical frustums截头圆锥体
• 基于PE提出了IPE，可以平滑地编码空间体积的大小和形状
• 将NeRF的粗精采样MLP合并为一个MLP

IPE：当锥体区域较宽（正态分布很宽）时，会将高频的信息积分为0；当区域较窄时，保持原来的PEncoding

创新：一种前背景分离的方法
挑战：

• First, the training and testing of NeRF and NeRF++ on a single large-scale scene is quite time-consuming and memory-intensive —> NGP解决了耗时
• Second, small camera calibration errors may impede阻碍 photorealistic synthesis. Robust loss functions, such as the contextual loss (Mechrez et al., 2018), could be applied.
• Third, photometric effects such as auto-exposure and vignetting渐晕 can also be taken into account to increase image fidelity. This line of investigation is related to the lighting changes addressed in the orthogonal work of Martin-Brualla et al. (2020).

NeuDA变形后的grid距离Surface更近一些，即可以使采样点插值时更多依赖于表面，即渲染时也会更多地考虑到3D空间相邻的信息

创新：Deformable Anchors、HPE、$\mathcal{L}_{norm}$

• 改进了NGP中的grid表示，8个顶点存储feature—>存储锚点位置，锚点位置经过PE后输入进SDF网络

从仅2~3张的稀疏输入中重建表面

• 首先，我们提出了一个多层几何推理框架，以粗到细的方式恢复表面。
• 其次，我们采用了一种多尺度颜色混合方案，该方案联合评估局部和背景亮度一致性，以获得更可靠的颜色预测。
• 第三，采用一致性感知的微调方案，控制遮挡和图像噪声引起的不一致区域，得到准确、干净的重建。

创新：用permutohedral lattice替换voxel hash encoding

• simplex,3D中的单纯形就是正四面体

• 几何细节光滑，通过曲率损失来实现

• 带Lipschitz常数的颜色MLP来训练，使得高频颜色与高频几何特征相匹配
  • ref : [PDF] Learning Smooth Neural Functions via Lipschitz Regularization-论文阅读讨论-ReadPaper
  • $y=\sigma(\widehat{W}_ix+b_i),\quad\widehat{W}_i=m\left(W_i,\text{softplus}\left(k_i\right)\right)$

创新：新的计算梯度的方法——数值梯度、粗到精地逐步优化——数值梯度的补偿$\epsilon$，粗网格先激活，当$\epsilon$减小到精网格的空间大小时，逐步激活精网格
SR Issue: Current methods struggle to recover detailed structures of real-world scenes
To address : present Neuralangelo (combines the representation power of multi-resolution 3D hash grids with neural surface rendering)

• numerical gradients for computing higher-order derivatives as a smoothing operation
  • 
• coarse-to-fine optimization on the hash grids controlling different levels of details
  even wo auxiliary inputs such as depth , Neuralangelo can effectively recover dense 3D surface structures from multi-view images with fidelity 保真 significantly surpassing previous methods, enabling detailed large-scale scene reconstruction from RGB video captures.

our future work to explore a more efficient sampling strategy to accelerate the training process.

一种可以加速NeRF的高效采样策略

NerfAcc = Instant-NGP的Occupancy Grid + Mip-NeRF 360的Proposal Network

pip install nerfacc

对Instant-NSR代码的理解

本项目yq010105/NeRF-Mine (github.com)基于Instant-nsr-pl(NSR,NGP,PytorchLightning)代码构建

• 保留 omegaconf、nerfacc、Mip-nerf_loss，类似文件结构
• 去除 pytorch-lightning 框架，使用 pytorch

NeRF 主要部分：

• 神经网络结构 —> 训练出来模型，即 3D 模型的隐式表达
  • 网络类型一般为 MLP，相当于训练一个函数，输入采样点的位置，可以输出该点的信息(eg: density, sdf, color…)
• 采样方式：沿着光线进行采样获取采样点
• 位置编码：对采样点的位置 xyz 和方向 dir 进行编码，使得 MLP 的输入为高频的信息
• 数学相关：光线的生成、坐标变换、体渲染公式、BRDF……
• 体渲染函数：
  • NeRF：$\mathrm{C}(r)=\int_{\mathrm{t}_{\mathrm{n}}}^{\mathrm{t}_{\mathrm{f}}} \mathrm{T}(\mathrm{t}) \sigma(\mathrm{r}(\mathrm{t})) \mathrm{c}(\mathrm{r}(\mathrm{t}), \mathrm{d}) \mathrm{dt} =\sum_{i=1}^{N} T_{i}\left(1-\exp \left(-\sigma_{i} \delta_{i}\right)\right) \mathbf{c}_{i}$
    • 不透明度$\sigma$，累计透光率 —> 权重
    • 颜色值
  • Neus：$C(\mathbf{o},\mathbf{v})=\int_{0}^{+\infty}w(t)c(\mathbf{p}(t),\mathbf{v})\mathrm{d}t$
    • sdf, dirs, gradients, invs —> $\alpha$ —> 权重
    • 颜色值
  • NeRO：$\mathbf{c}(\omega_{0})=\mathbf{c}_{\mathrm{diffuse}}+\mathbf{c}_{\mathrm{specular}} =\int_{\Omega}(1-m)\frac{\mathbf{a}}{\pi}L(\omega_{i})(\omega_{i}\cdot\mathbf{n})d\omega_{i} + \int_{\Omega}\frac{DFG}{4(\omega_{i}\cdot\mathbf{n})(\omega_{0}\cdot\mathbf{n})}L(\omega_{i})(\omega_{i}\cdot\mathbf{n})d\omega_{i}$
    • 漫反射颜色：Light(直射光)，金属度 m、反照率 a
    • 镜面反射颜色：Light(直射光+间接光)，金属度 m、反照率 a、粗糙度$\rho$ ，碰撞概率 occ_prob，间接光碰撞 human 的 human_light
    • 详情见NeRO Code
• 隐式模型导出(.stl、.obj、.ply 等)显式模型(Marching Cube)：利用 trimesh，torchmcubes，mcubes 等库
  • 根据 sdf 和 threshold，获取物体表面的 vertices 和 faces(如需还要生成 vertices 对应的 colors)。
  • 然后根据 vertices、faces 和 colors，由 trimesh 生成 mesh 并导出模型为 obj 等格式

Future：

• [ ] 消除颜色 or 纹理与几何的歧义，Neus(X—>MLP—>SDF)的方法会将物体的纹理建模到物体的几何中
• [x] 只关注前景物体的建模，可以结合 SAM 将图片中的 interest object 分割出来: Rembg分割后效果也不好

可以理解为对Neus使用多分辨率哈希编码进行加速

• 使用TSDF代替SDF
• 有限差分函数计算SDF的梯度，在tiny-CUDAnn并未集成，公开了自己的CUDAC++代码

不足：

• 数据集需要手动mask

tiny-cuda-nn在python中的用法:NVlabs/tiny-cuda-nn: Lightning fast C++/CUDA neural network framework (github.com)

InstantNGP环境配置和使用，由于需要使用GUI，且笔记本GPU配置太低，因此没有具体训练的过程，只是进行了环境的配置。

Instant Neus的代码理解
参考了：

• ngp_pl: Great Instant-NGP implementation in PyTorch-Lightning! Background model and GUI supported.
  • Welcome to ⚡ PyTorch Lightning — PyTorch Lightning 1.9.5 documentation
• Instant-NSR: NeuS implementation using multiresolution hash encoding.