QiYun

创新：一种前背景分离的方法
挑战：

• First, the training and testing of NeRF and NeRF++ on a single large-scale scene is quite time-consuming and memory-intensive —> NGP解决了耗时
• Second, small camera calibration errors may impede阻碍 photorealistic synthesis. Robust loss functions, such as the contextual loss (Mechrez et al., 2018), could be applied.
• Third, photometric effects such as auto-exposure and vignetting渐晕 can also be taken into account to increase image fidelity. This line of investigation is related to the lighting changes addressed in the orthogonal work of Martin-Brualla et al. (2020).

NeuDA变形后的grid距离Surface更近一些，即可以使采样点插值时更多依赖于表面，即渲染时也会更多地考虑到3D空间相邻的信息

创新：Deformable Anchors、HPE、$\mathcal{L}_{norm}$

• 改进了NGP中的grid表示，8个顶点存储feature—>存储锚点位置，锚点位置经过PE后输入进SDF网络

从仅2~3张的稀疏输入中重建表面

• 首先，我们提出了一个多层几何推理框架，以粗到细的方式恢复表面。
• 其次，我们采用了一种多尺度颜色混合方案，该方案联合评估局部和背景亮度一致性，以获得更可靠的颜色预测。
• 第三，采用一致性感知的微调方案，控制遮挡和图像噪声引起的不一致区域，得到准确、干净的重建。

创新：用permutohedral lattice替换voxel hash encoding

• simplex,3D中的单纯形就是正四面体

• 几何细节光滑，通过曲率损失来实现

• 带Lipschitz常数的颜色MLP来训练，使得高频颜色与高频几何特征相匹配
  • ref : [PDF] Learning Smooth Neural Functions via Lipschitz Regularization-论文阅读讨论-ReadPaper
  • $y=\sigma(\widehat{W}_ix+b_i),\quad\widehat{W}_i=m\left(W_i,\text{softplus}\left(k_i\right)\right)$

创新：新的计算梯度的方法——数值梯度、粗到精地逐步优化——数值梯度的补偿$\epsilon$，粗网格先激活，当$\epsilon$减小到精网格的空间大小时，逐步激活精网格
SR Issue: Current methods struggle to recover detailed structures of real-world scenes
To address : present Neuralangelo (combines the representation power of multi-resolution 3D hash grids with neural surface rendering)

• numerical gradients for computing higher-order derivatives as a smoothing operation
  • 
• coarse-to-fine optimization on the hash grids controlling different levels of details
  even wo auxiliary inputs such as depth , Neuralangelo can effectively recover dense 3D surface structures from multi-view images with fidelity 保真 significantly surpassing previous methods, enabling detailed large-scale scene reconstruction from RGB video captures.

our future work to explore a more efficient sampling strategy to accelerate the training process.

一种可以加速NeRF的高效采样策略

NerfAcc = Instant-NGP的Occupancy Grid + Mip-NeRF 360的Proposal Network

pip install nerfacc

对Instant-NSR代码的理解

本项目yq010105/NeRF-Mine (github.com)基于Instant-nsr-pl(NSR,NGP,PytorchLightning)代码构建

• 保留 omegaconf、nerfacc、Mip-nerf_loss，类似文件结构
• 去除 pytorch-lightning 框架，使用 pytorch

NeRF 主要部分：

• 神经网络结构 —> 训练出来模型，即 3D 模型的隐式表达
  • 网络类型一般为 MLP，相当于训练一个函数，输入采样点的位置，可以输出该点的信息(eg: density, sdf, color…)
• 采样方式：沿着光线进行采样获取采样点
• 位置编码：对采样点的位置 xyz 和方向 dir 进行编码，使得 MLP 的输入为高频的信息
• 数学相关：光线的生成、坐标变换、体渲染公式、BRDF……
• 体渲染函数：
  • NeRF：$\mathrm{C}(r)=\int_{\mathrm{t}_{\mathrm{n}}}^{\mathrm{t}_{\mathrm{f}}} \mathrm{T}(\mathrm{t}) \sigma(\mathrm{r}(\mathrm{t})) \mathrm{c}(\mathrm{r}(\mathrm{t}), \mathrm{d}) \mathrm{dt} =\sum_{i=1}^{N} T_{i}\left(1-\exp \left(-\sigma_{i} \delta_{i}\right)\right) \mathbf{c}_{i}$
    • 不透明度$\sigma$，累计透光率 —> 权重
    • 颜色值
  • Neus：$C(\mathbf{o},\mathbf{v})=\int_{0}^{+\infty}w(t)c(\mathbf{p}(t),\mathbf{v})\mathrm{d}t$
    • sdf, dirs, gradients, invs —> $\alpha$ —> 权重
    • 颜色值
  • NeRO：$\mathbf{c}(\omega_{0})=\mathbf{c}_{\mathrm{diffuse}}+\mathbf{c}_{\mathrm{specular}} =\int_{\Omega}(1-m)\frac{\mathbf{a}}{\pi}L(\omega_{i})(\omega_{i}\cdot\mathbf{n})d\omega_{i} + \int_{\Omega}\frac{DFG}{4(\omega_{i}\cdot\mathbf{n})(\omega_{0}\cdot\mathbf{n})}L(\omega_{i})(\omega_{i}\cdot\mathbf{n})d\omega_{i}$
    • 漫反射颜色：Light(直射光)，金属度 m、反照率 a
    • 镜面反射颜色：Light(直射光+间接光)，金属度 m、反照率 a、粗糙度$\rho$ ，碰撞概率 occ_prob，间接光碰撞 human 的 human_light
    • 详情见NeRO Code
• 隐式模型导出(.stl、.obj、.ply 等)显式模型(Marching Cube)：利用 trimesh，torchmcubes，mcubes 等库
  • 根据 sdf 和 threshold，获取物体表面的 vertices 和 faces(如需还要生成 vertices 对应的 colors)。
  • 然后根据 vertices、faces 和 colors，由 trimesh 生成 mesh 并导出模型为 obj 等格式

Future：

• [ ] 消除颜色 or 纹理与几何的歧义，Neus(X—>MLP—>SDF)的方法会将物体的纹理建模到物体的几何中
• [x] 只关注前景物体的建模，可以结合 SAM 将图片中的 interest object 分割出来: Rembg分割后效果也不好

可以理解为对Neus使用多分辨率哈希编码进行加速

• 使用TSDF代替SDF
• 有限差分函数计算SDF的梯度，在tiny-CUDAnn并未集成，公开了自己的CUDAC++代码

不足：

• 数据集需要手动mask

tiny-cuda-nn在python中的用法:NVlabs/tiny-cuda-nn: Lightning fast C++/CUDA neural network framework (github.com)

InstantNGP环境配置和使用，由于需要使用GUI，且笔记本GPU配置太低，因此没有具体训练的过程，只是进行了环境的配置。

Instant Neus的代码理解
参考了：

• ngp_pl: Great Instant-NGP implementation in PyTorch-Lightning! Background model and GUI supported.
  • Welcome to ⚡ PyTorch Lightning — PyTorch Lightning 1.9.5 documentation
• Instant-NSR: NeuS implementation using multiresolution hash encoding.

学习深度学习过程中的一些基础知识

深度学习·炼丹入门 - 知乎 (zhihu.com)

Neus代码的理解

NeRF与Neus相机坐标系的对比：

哈希函数在cuda(cuda c++)中进行编程，不需深挖具体代码，初学只需理解多分辨率哈希编码思想。i.e.目前只需要学会使用tiny-cuda-nn即可：NVlabs/tiny-cuda-nn: Lightning fast C++/CUDA neural network framework (github.com)

哈希编码思想：
哈希编码后的输出值的数量与L(分辨率数量)、F(特征向量维度)有关，eg: L=16,F=2，则输入一个坐标xyz，根据多分辨率体素网格，插值出来L个特征值，每个特征值维度为2，因此输出值的维度为32

L为分辨率数量，l为分辨率序号。示例中L=2，$N_{0}= N_{min} =2$ , $N_{1}= N_{max}= 3$ , $b = \frac{3}{2}$

• L：多分辨率
• T：每个分辨率下有T个特征向量
• F：特征向量的维度
• 最小和最大分辨率：$N_{min} , N_{max}$
• b：每个level的缩放per_level_scale $b= e^{\frac{ln(\frac{N_{max}}{N_{min}})}{L-1}}$

不要乱用 git reset —hard commit_id 回退 git commit 版本

NeRF相关的论文 at CVPR/ICCV/ECCV/NIPS/ICML/ICLR/SIGGRAPH
计算机视觉顶会2022截稿时间及会议时间_ijcai2024截稿日期-CSDN博客
ccf-deadlines (ccfddl.github.io)

Related link : 3D Reconstruction | awesome-NeRF-papers

基于Pytorch学习DL时，学习到的一些技巧/code