QiYun

New 3D Diffusion Transformer Model, 在体素化的点云上运行 DDPM(Denoising diffusion probabilistic models) 的去噪过程

按步长穷举法，粗配准，需要根据ICP进行精配准

pairwise registration models, only Ubuntu

Issue:
How should I train my dataset? · Issue #4 · WHU-USI3DV/SGHR (github.com)
I think several point clouds of a single statue is not enough for training deep descriptors. I suggest to directly use pairwise registration models such as Geotrainsformer pre-trained on object-level datasets such as ModelNet40 to solve the pairwise registrations.
And adopt SGHR’s transformation synchronization section to solve the global consistent scan poses.

Math basic of 3D Reconstruction

Terminology/Jargon

• Human Radiance Fields
• 3D Clothed Human Reconstruction | Digitization

Application

• 三维重建设备：手持扫描仪或 360 度相机矩阵（成本高）
• 复刻一个迷你版的自己

Method

1. Depth&Normal Estimation(2K2K)
2. Implicit Function(PIFu or NeRF)
3. Generative approach Generative Models Reconstruction

Awesome Human Body Reconstruction

深度估计方法

姿态稳定(ICON在难的姿势下较好地重建)+灵活拓扑(ECON还可以较好地重建宽松的衣服)

缺陷：

CVPR 2022 | ICON: 提高三维数字人重建的姿势水平 - 知乎 (zhihu.com)

输入：

• 经过分割的着衣人类的RGB图像
• 从图像估计得到的SMPL身体
  • SMPL身体用于指导ICON的两个模块：一个推断着衣人类的详细表面法线（前视图和后视图），另一个推断一个具有可见性感知的隐式表面（占用场的等值表面）
  • 迭代反馈循环使用推断出的详细法线来优化SMPL

缺点：

• 宽松的衣服无法重建
• 依赖HPS估计出的SMPL body

Encoder: stacked hourglass network
MLP

• Coarse L：(257, 1024, 512, 256, 128, 1)
• Fine H：(272, 512, 256, 128, 1)，将Coarse MLP的第四层输出$\Omega \in \mathbb{R}^{256}$作为输入
  表面法线网络：由9个残差块和4个下采样层组成
• $\mathcal{L}_{N}=\mathcal{L}_{VGG}+\lambda_{l1}\mathcal{L}_{l1},$ 其中$L_{VGG}$为Johnson等人[17]提出的感知损失，$L_{l1}$为预测与真值法向之间的l1距离

表面重建网络：stacked hourglass
纹理推断网络：由残差块组成的architecture of CycleGAN
隐函数网络：MLP

Idea：两个额外的损失函数

• 几何偏差损失：鼓励隐式SDF场和体渲染的亮度场之间的几何一致性
• 多视图特征一致性损失：多个观察视图在表面点处的特征一致

Idea:

• 法向预测网络，法向量约束
• 一致性约束(几何一致性和颜色一致性)，通过虚拟视点实现
• mask的计算方法，只计算有价值的光线
  Read more »

缺点：

• 需要3D 先验：每张图像的GT变形图和位移图
  Idea：
• Contour-aware Loss. 新的轮廓感知损失算法，目的是拉动边缘的顶点以对齐面部轮廓

Idea：$\mathcal{L}_\mathrm{dec}=\lambda_\mathrm{BCE}\mathcal{L}_\mathrm{BCE}+\lambda_\mathrm{sparse}\mathcal{L}_\mathrm{sparse}.$

• 不透明度稀疏正则化$\mathcal{L}_{\mathrm{sparse}}^i=\frac1{|\mathcal{R}_{\mathrm{off}}^i|}\sum_{\mathbf{r}\in\mathcal{R}_{\mathrm{off}}^i}|\alpha^H(\mathbf{r})|.$惩罚与subject不相交的光线的非零光线不透明度
• 自监督射线分类$\begin{aligned}\mathcal{L}_\mathrm{BCE}^i&=-\frac{1}{|\mathcal{R}^i|}\sum_{\mathrm{r}\in\mathcal{R}^i}(\alpha^H(\mathbf{r})\log(\alpha^H(\mathbf{r}))\\&+(1-\alpha^H(\mathbf{r}))\log(1-\alpha^H(\mathbf{r}))),\end{aligned}$鼓励包含完全透明或不透明光线的光线分布
  Read more »

可以看成一种估计深度图的方法
缺点：需要好的数据集

• 需要提供法线图、mask、深度图(低分辨率+高分辨率)
• 需要人体模型的关节点信息
• 无法预测自遮挡部位
• 对低分辨率重建效果不好