QiYun

Idea:

• 法向预测网络，法向量约束
• 一致性约束(几何一致性和颜色一致性)，通过虚拟视点实现
• mask的计算方法，只计算有价值的光线
  Read more »

缺点：

• 需要3D 先验：每张图像的GT变形图和位移图
  Idea：
• Contour-aware Loss. 新的轮廓感知损失算法，目的是拉动边缘的顶点以对齐面部轮廓

Idea：$\mathcal{L}_\mathrm{dec}=\lambda_\mathrm{BCE}\mathcal{L}_\mathrm{BCE}+\lambda_\mathrm{sparse}\mathcal{L}_\mathrm{sparse}.$

• 不透明度稀疏正则化$\mathcal{L}_{\mathrm{sparse}}^i=\frac1{|\mathcal{R}_{\mathrm{off}}^i|}\sum_{\mathbf{r}\in\mathcal{R}_{\mathrm{off}}^i}|\alpha^H(\mathbf{r})|.$惩罚与subject不相交的光线的非零光线不透明度
• 自监督射线分类$\begin{aligned}\mathcal{L}_\mathrm{BCE}^i&=-\frac{1}{|\mathcal{R}^i|}\sum_{\mathrm{r}\in\mathcal{R}^i}(\alpha^H(\mathbf{r})\log(\alpha^H(\mathbf{r}))\\&+(1-\alpha^H(\mathbf{r}))\log(1-\alpha^H(\mathbf{r}))),\end{aligned}$鼓励包含完全透明或不透明光线的光线分布
  Read more »

可以看成一种估计深度图的方法
缺点：需要好的数据集

• 需要提供法线图、mask、深度图(低分辨率+高分辨率)
• 需要人体模型的关节点信息
• 无法预测自遮挡部位
• 对低分辨率重建效果不好

数据集

NeRF-based重建方法之于前作监督的重建(新视图生成)方式，如MVS需要真实的深度图作监督，之前的包括生成式的方法需要三维模型的信息(PointCloud、Voxel、Mesh)作监督，NeRF-based方法构建了一种自监督的重建方式，从图像中重建物体只需要用图像作监督

NeRF将三维空间中所有点，通过MLP预测出对应的密度/SDF，是一种连续的方法(理论上，实际上由于计算机精度还是离散的)。至少在3D上不会由于离散方法(voxel)，而出现很大的锯齿/aliasing

NeRF-based self-supervised 3D Reconstruction

1. image and pose(COLMAP)
2. NeRF(NeuS) or 3DGS(SuGaR)
   1. 损失函数(对比像素颜色、深度、法向量、SDF梯度累积<Eikonal term>Eikonal Equation and SDF - Lin’s site)
3. PointCloud后处理，根据不同用途如3D打印、有限元仿真分析、游戏assets，有许多格式mesh/FEMode/AMs

介绍了几种3D模型表示方法+回顾了将DL应用到Mesh重建中的方法

ref:
awesome-NeRF-papers/NeRFs-CVPR2023.md at main · lif314/awesome-NeRF-papers (github.com)
awesome-NeRF-papers/NeRFs-ICCV2023.md at main · lif314/awesome-NeRF-papers (github.com)
工作簿: CVPR 2023 Subject Areas by Team Size (tableau.com)
yangjiheng/nerf_and_beyond_docs (github.com)

一种新的Marching Cube的方法