QiYun

Terminology/Jargon

• Human Radiance Fields
• 3D Clothed Human Reconstruction | Digitization

Application

• 三维重建设备：手持扫描仪或 360 度相机矩阵（成本高）
• 复刻一个迷你版的自己

Method

1. Depth&Normal Estimation(2K2K)
2. Implicit Function(PIFu or NeRF)
3. Generative approach Generative Models Reconstruction

Awesome Human Body Reconstruction

深度估计方法

姿态稳定(ICON在难的姿势下较好地重建)+灵活拓扑(ECON还可以较好地重建宽松的衣服)

缺陷：

CVPR 2022 | ICON: 提高三维数字人重建的姿势水平 - 知乎 (zhihu.com)

输入：

• 经过分割的着衣人类的RGB图像
• 从图像估计得到的SMPL身体
  • SMPL身体用于指导ICON的两个模块：一个推断着衣人类的详细表面法线（前视图和后视图），另一个推断一个具有可见性感知的隐式表面（占用场的等值表面）
  • 迭代反馈循环使用推断出的详细法线来优化SMPL

缺点：

• 宽松的衣服无法重建
• 依赖HPS估计出的SMPL body

Encoder: stacked hourglass network
MLP

• Coarse L：(257, 1024, 512, 256, 128, 1)
• Fine H：(272, 512, 256, 128, 1)，将Coarse MLP的第四层输出$\Omega \in \mathbb{R}^{256}$作为输入
  表面法线网络：由9个残差块和4个下采样层组成
• $\mathcal{L}_{N}=\mathcal{L}_{VGG}+\lambda_{l1}\mathcal{L}_{l1},$ 其中$L_{VGG}$为Johnson等人[17]提出的感知损失，$L_{l1}$为预测与真值法向之间的l1距离

表面重建网络：stacked hourglass
纹理推断网络：由残差块组成的architecture of CycleGAN
隐函数网络：MLP

Idea：两个额外的损失函数

• 几何偏差损失：鼓励隐式SDF场和体渲染的亮度场之间的几何一致性
• 多视图特征一致性损失：多个观察视图在表面点处的特征一致

Idea:

• 法向预测网络，法向量约束
• 一致性约束(几何一致性和颜色一致性)，通过虚拟视点实现
• mask的计算方法，只计算有价值的光线
  Read more »

缺点：

• 需要3D 先验：每张图像的GT变形图和位移图
  Idea：
• Contour-aware Loss. 新的轮廓感知损失算法，目的是拉动边缘的顶点以对齐面部轮廓

Idea：$\mathcal{L}_\mathrm{dec}=\lambda_\mathrm{BCE}\mathcal{L}_\mathrm{BCE}+\lambda_\mathrm{sparse}\mathcal{L}_\mathrm{sparse}.$

• 不透明度稀疏正则化$\mathcal{L}_{\mathrm{sparse}}^i=\frac1{|\mathcal{R}_{\mathrm{off}}^i|}\sum_{\mathbf{r}\in\mathcal{R}_{\mathrm{off}}^i}|\alpha^H(\mathbf{r})|.$惩罚与subject不相交的光线的非零光线不透明度
• 自监督射线分类$\begin{aligned}\mathcal{L}_\mathrm{BCE}^i&=-\frac{1}{|\mathcal{R}^i|}\sum_{\mathrm{r}\in\mathcal{R}^i}(\alpha^H(\mathbf{r})\log(\alpha^H(\mathbf{r}))\\&+(1-\alpha^H(\mathbf{r}))\log(1-\alpha^H(\mathbf{r}))),\end{aligned}$鼓励包含完全透明或不透明光线的光线分布
  Read more »

可以看成一种估计深度图的方法
缺点：需要好的数据集

• 需要提供法线图、mask、深度图(低分辨率+高分辨率)
• 需要人体模型的关节点信息
• 无法预测自遮挡部位
• 对低分辨率重建效果不好

Datasets about 3D Reconstruction

NeRF-based重建方法之于前作监督的重建(新视图生成)方式，如MVS需要真实的深度图作监督，之前的包括生成式的方法需要三维模型的信息(PointCloud、Voxel、Mesh)作监督，NeRF-based方法构建了一种自监督的重建方式，从图像中重建物体只需要用图像作监督

NeRF将三维空间中所有点，通过MLP预测出对应的密度/SDF，是一种连续的方法(理论上，实际上由于计算机精度还是离散的)。至少在3D上不会由于离散方法(voxel)，而出现很大的锯齿/aliasing

NeRF-based self-supervised 3D Reconstruction

1. image and pose(COLMAP)
2. NeRF(NeuS) or 3DGS(SuGaR)
   1. 损失函数(对比像素颜色、深度、法向量、SDF梯度累积<Eikonal term>Eikonal Equation and SDF - Lin’s site)
3. PointCloud后处理，根据不同用途如3D打印、有限元仿真分析、游戏assets，有许多格式mesh/FEMode/AMs

Six Legged Spider Robot

介绍了几种3D模型表示方法+回顾了将DL应用到Mesh重建中的方法

ref:
awesome-NeRF-papers/NeRFs-CVPR2023.md at main · lif314/awesome-NeRF-papers (github.com)
awesome-NeRF-papers/NeRFs-ICCV2023.md at main · lif314/awesome-NeRF-papers (github.com)
工作簿: CVPR 2023 Subject Areas by Team Size (tableau.com)
yangjiheng/nerf_and_beyond_docs (github.com)