QiYun

• flow-based explicit generative models for sampling point clouds with arbitrary resolutions
• Improving the detailed 3D structures of point clouds by leveraging the implicit generative adversarial networks (GANs).

New 3D Diffusion Transformer Model, 在体素化的点云上运行 DDPM(Denoising diffusion probabilistic models) 的去噪过程

按步长穷举法，粗配准，需要根据ICP进行精配准

pairwise registration models, only Ubuntu

Issue:
How should I train my dataset? · Issue #4 · WHU-USI3DV/SGHR (github.com)
I think several point clouds of a single statue is not enough for training deep descriptors. I suggest to directly use pairwise registration models such as Geotrainsformer pre-trained on object-level datasets such as ModelNet40 to solve the pairwise registrations.
And adopt SGHR’s transformation synchronization section to solve the global consistent scan poses.

Math basic of 3D Reconstruction

Terminology/Jargon

• Human Radiance Fields
• 3D Clothed Human Reconstruction | Digitization

Application

• 三维重建设备：手持扫描仪或 360 度相机矩阵（成本高）
• 复刻一个迷你版的自己

Method

1. Depth&Normal Estimation(2K2K)
2. Implicit Function(PIFu or NeRF)
3. Generative approach Generative Models Reconstruction

Awesome Human Body Reconstruction

深度估计方法

姿态稳定(ICON在难的姿势下较好地重建)+灵活拓扑(ECON还可以较好地重建宽松的衣服)

缺陷：

CVPR 2022 | ICON: 提高三维数字人重建的姿势水平 - 知乎 (zhihu.com)

输入：

• 经过分割的着衣人类的RGB图像
• 从图像估计得到的SMPL身体
  • SMPL身体用于指导ICON的两个模块：一个推断着衣人类的详细表面法线（前视图和后视图），另一个推断一个具有可见性感知的隐式表面（占用场的等值表面）
  • 迭代反馈循环使用推断出的详细法线来优化SMPL

缺点：

• 宽松的衣服无法重建
• 依赖HPS估计出的SMPL body

Encoder: stacked hourglass network
MLP

• Coarse L：(257, 1024, 512, 256, 128, 1)
• Fine H：(272, 512, 256, 128, 1)，将Coarse MLP的第四层输出$\Omega \in \mathbb{R}^{256}$作为输入
  表面法线网络：由9个残差块和4个下采样层组成
• $\mathcal{L}_{N}=\mathcal{L}_{VGG}+\lambda_{l1}\mathcal{L}_{l1},$ 其中$L_{VGG}$为Johnson等人[17]提出的感知损失，$L_{l1}$为预测与真值法向之间的l1距离

表面重建网络：stacked hourglass
纹理推断网络：由残差块组成的architecture of CycleGAN
隐函数网络：MLP

Idea：两个额外的损失函数

• 几何偏差损失：鼓励隐式SDF场和体渲染的亮度场之间的几何一致性
• 多视图特征一致性损失：多个观察视图在表面点处的特征一致

Idea:

• 法向预测网络，法向量约束
• 一致性约束(几何一致性和颜色一致性)，通过虚拟视点实现
• mask的计算方法，只计算有价值的光线
  Read more »

缺点：

• 需要3D 先验：每张图像的GT变形图和位移图
  Idea：
• Contour-aware Loss. 新的轮廓感知损失算法，目的是拉动边缘的顶点以对齐面部轮廓

Idea：$\mathcal{L}_\mathrm{dec}=\lambda_\mathrm{BCE}\mathcal{L}_\mathrm{BCE}+\lambda_\mathrm{sparse}\mathcal{L}_\mathrm{sparse}.$

• 不透明度稀疏正则化$\mathcal{L}_{\mathrm{sparse}}^i=\frac1{|\mathcal{R}_{\mathrm{off}}^i|}\sum_{\mathbf{r}\in\mathcal{R}_{\mathrm{off}}^i}|\alpha^H(\mathbf{r})|.$惩罚与subject不相交的光线的非零光线不透明度
• 自监督射线分类$\begin{aligned}\mathcal{L}_\mathrm{BCE}^i&=-\frac{1}{|\mathcal{R}^i|}\sum_{\mathrm{r}\in\mathcal{R}^i}(\alpha^H(\mathbf{r})\log(\alpha^H(\mathbf{r}))\\&+(1-\alpha^H(\mathbf{r}))\log(1-\alpha^H(\mathbf{r}))),\end{aligned}$鼓励包含完全透明或不透明光线的光线分布
  Read more »