本项目yq010105/NeRF-Mine (github.com)基于Instant-nsr-pl(NSR,NGP,PytorchLightning)代码构建
- 保留 omegaconf、nerfacc、Mip-nerf_loss，类似文件结构
- 去除 pytorch-lightning 框架，使用 pytorch
NeRF 主要部分：
- 神经网络结构 —> 训练出来模型，即 3D 模型的隐式表达
- 网络类型一般为 MLP，相当于训练一个函数，输入采样点的位置，可以输出该点的信息(eg: density, sdf, color…)
- 采样方式：沿着光线进行采样获取采样点
- 位置编码：对采样点的位置 xyz 和方向 dir 进行编码，使得 MLP 的输入为高频的信息
- 数学相关：光线的生成、坐标变换、体渲染公式、BRDF……
- 体渲染函数：
- NeRF：$\mathrm{C}(r)=\int_{\mathrm{t}_{\mathrm{n}}}^{\mathrm{t}_{\mathrm{f}}} \mathrm{T}(\mathrm{t}) \sigma(\mathrm{r}(\mathrm{t})) \mathrm{c}(\mathrm{r}(\mathrm{t}), \mathrm{d}) \mathrm{dt} =\sum_{i=1}^{N} T_{i}\left(1-\exp \left(-\sigma_{i} \delta_{i}\right)\right) \mathbf{c}_{i}$
- 不透明度$\sigma$，累计透光率 —> 权重
- 颜色值
- Neus：$C(\mathbf{o},\mathbf{v})=\int_{0}^{+\infty}w(t)c(\mathbf{p}(t),\mathbf{v})\mathrm{d}t$
- sdf, dirs, gradients, invs —> $\alpha$ —> 权重
- 颜色值
- NeRO：$\mathbf{c}(\omega_{0})=\mathbf{c}_{\mathrm{diffuse}}+\mathbf{c}_{\mathrm{specular}} =\int_{\Omega}(1-m)\frac{\mathbf{a}}{\pi}L(\omega_{i})(\omega_{i}\cdot\mathbf{n})d\omega_{i} + \int_{\Omega}\frac{DFG}{4(\omega_{i}\cdot\mathbf{n})(\omega_{0}\cdot\mathbf{n})}L(\omega_{i})(\omega_{i}\cdot\mathbf{n})d\omega_{i}$
- 漫反射颜色：Light(直射光)，金属度 m、反照率 a
- 镜面反射颜色：Light(直射光+间接光)，金属度 m、反照率 a、粗糙度$\rho$ ，碰撞概率 occ_prob，间接光碰撞 human 的 human_light
- 详情见NeRO Code
- NeRF：$\mathrm{C}(r)=\int_{\mathrm{t}_{\mathrm{n}}}^{\mathrm{t}_{\mathrm{f}}} \mathrm{T}(\mathrm{t}) \sigma(\mathrm{r}(\mathrm{t})) \mathrm{c}(\mathrm{r}(\mathrm{t}), \mathrm{d}) \mathrm{dt} =\sum_{i=1}^{N} T_{i}\left(1-\exp \left(-\sigma_{i} \delta_{i}\right)\right) \mathbf{c}_{i}$
- 隐式模型导出(.stl、.obj、.ply 等)显式模型(Marching Cube)：利用 trimesh，torchmcubes，mcubes 等库
- 根据 sdf 和 threshold，获取物体表面的 vertices 和 faces(如需还要生成 vertices 对应的 colors)。
- 然后根据 vertices、faces 和 colors，由 trimesh 生成 mesh 并导出模型为 obj 等格式
Future：
- [ ] 消除颜色 or 纹理与几何的歧义，Neus(X—>MLP—>SDF)的方法会将物体的纹理建模到物体的几何中
- [x] 只关注前景物体的建模，可以结合 SAM 将图片中的 interest object 分割出来: Rembg分割后效果也不好
