QiYun

CS 148: Introduction to Computer Graphics and Imaging (stanford.edu)

贡献：

• 基于Transform的自注意力提出模型，用于将2D的三个orthographic的line drawing转化为3D模型，可以实现从图纸不完美的输入中生成正确的3D模型
• 输入的三个orthographic图纸被编码，输出的是3D模型程序的编码，最后解码后即3D模型对应的程序DSL

挑战：

• 应用于无法获得甚至不存在大规模CAD数据的领域，例如建筑物或复杂的机械设备
• 没有考虑图纸中的符号、图层等信息

对比photogrammetry与NeRF在3D Reconstruction中的表现，提供数据集Github_NeRFBK

• photogrammetry(Colmap)
  • 对无纹理物体重建效果很差(non-collaborative surfaces的3D测量)，例如镜面反射物体
    • 非协作表面: 反射、无纹理等
• NeRF(InstantNGP | NerfStudio | SDFstudio)

结论：

• 在传统摄影测量方法失败或产生嘈杂结果的情况下，例如无纹理、金属、高反射和透明物体，NeRF优于摄影测量
• 对于纹理良好和部分纹理的物体，摄影测量仍然表现更好

该研究为NeRF在不同现实场景中的适用性提供了有价值的见解，特别是在遗产和工业场景中，这些场景的表面可能特别具有挑战性，未来的研究可以探索NeRF和摄影测量的结合，以提高具有挑战性场景下三维重建的质量和效率

贡献：

• NeRFactor在未知光照条件下从图像中恢复物体形状和反射率
  • 在没有任何监督的情况下，仅使用重渲染损失、简单的平滑先验和从真实世界BRDF测量中学习的数据驱动的BRDF先验，恢复了表面法线、光能见度、反照率和双向反射分布函数(BRDFs)的3D神经场
• 通过NeRFactor的分解，我们可以用点光或光探针图像重新照亮物体，从任意视点渲染图像，甚至编辑物体的反照率和BRDF

贡献：

• 借鉴Mip-NeRF的IPE，提出一种新的IDE来编码方向向量
• 表面法向通过Spatial MLP来预测，并通过$\mathcal{R}_{\mathrm{p}}=\sum_{i}w_{i}|\hat{\mathbf{n}}_{i}-\hat{\mathbf{n}}_{i}^{\prime}|^{2},$来正则化使得预测得到的法向量和进一步计算的反射更加平滑
  • 这些MLP预测的法线往往比梯度密度法线更平滑
  • $\hat{\mathbf{n}}(\mathbf{x})=-\frac{\nabla\tau(\mathbf{x})}{|\nabla\tau(\mathbf{x})|}.$Eq.3
• 计算反射光的新渲染方式$\mathbf{c}=\gamma(\mathbf{c}_d+\mathbf{s}\odot\mathbf{c}_s),$
  • $\hat{\mathbf{\omega}}_r=2(\hat{\mathbf{\omega}}_o\cdot\hat{\mathbf{n}})\hat{\mathbf{n}}-\hat{\mathbf{\omega}}_o,$ Eq.4
  • $L_{\mathrm{out}}(\hat{\mathbf{\omega}}_{o})\propto\int L_{\mathrm{in}}(\hat{\mathbf{\omega}}_{i})p(\hat{\mathbf{\omega}}_{r}\cdot\hat{\mathbf{\omega}}_{i})d\hat{\mathbf{\omega}}_{i}=F(\hat{\mathbf{\omega}}_{r}).$ 借鉴此BRDF，提出的Direction MLP 得出$c_s$
  • 漫反射颜色$c_d$通过Spatial MLP预测得到
  • s是高光色调
  • 将空间MLP输出的瓶颈向量b传递到Direction MLP中，这样反射的亮度就可以随着3D位置的变化而变化。
• $\mathcal{R}_{\mathrm{o}}=\sum_{i}w_{i}\max(0,\hat{\mathbf{n}}_{i}^{\prime}\cdot\hat{\mathbf{d}})^{2}.$ 正则化项惩罚朝向远离相机的法线

局限：

• 编码导致的速度慢，和Spatial MLP的loss反向传播速度比Mip-NeRF慢
• 没有明确地模拟相互反射或非远距离照明
  • 忽略互反射和自遮挡等现象

方法：假设场景不发光，且忽略相互反射

• 从二值阴影图像中获得可见表面的入射亮度，然后处理更复杂的RGB图像
• 入射光辐射$C_\mathrm{in}(x,l)=L\prod_{i=1}^N(1-\alpha_i)$， 从单视图、多光源中重建出3D shape
  • $\mathcal{L}_\mathrm{shadow}=|\widehat{C}_\mathrm{in}-I_\mathrm{s}|_1.$
• 出射光辐射$C(x,-\mathbf{v})=(\rho_d+\rho_s)C_{\mathrm{in}}(x,l)(l\cdot\mathbf{n})$
  • $\mathcal{L}_\mathrm{rgb}=|\widehat{C}-I_\mathrm{r}|_1$

表现：outperforms the SOTAs in single-view reconstruction, and it has the power to reconstruct scene geometries out of the camera’s line of sight.

• 局部CP分解，三向量
• 多尺度，占用网格方式

使用$\hat{C}(\mathbf{r})=\sum_{i=1}^No(\mathbf{x}_i)\prod_{j<i}\bigl(1-o(\mathbf{x}_j)\bigr)c(\mathbf{x}_i,\mathbf{d})$ 占据o来代替NeRF中的$\alpha$
将VR与SR结合起来，首先根据占据场获取表面的点$t_s$，然后在$t_s$的一个区间内均匀采样点来进行颜色场的优化(如果光线没有穿过物体，则使用分层采样)

基于EG3D无条件生成模型
PAniC-3D对比PixelNeRF、EG3D(+Img2stylegan or +PTI)、Pifu

估计视图之间的相对相机姿态

贡献：

• 2D提取voxel特征 —> 相机姿态估计 —> 特征共享+融合 —> MLP神经隐式重建 —> 渲染已有相机位姿的图片，并计算与gt之间的loss
• 新的损失函数

NeRO代码liuyuan-pal/NeRO: [SIGGRAPH2023] NeRO: Neural Geometry and BRDF Reconstruction of Reflective Objects from Multiview Images (github.com)

Zip-NeRF在抗混叠(包括NeRF从空间坐标到颜色和密度的学习映射的空间混叠，以及沿每条射线在线蒸馏过程中使用的损失函数的z-混叠)方面都取得了很好的效果，并且速度相比前作Mip-NeRF 360 提高了24X

mipNeRF 360+基于网格的模型(如Instant NGP)的技术

• 错误率下降8~77%，并且比Mip-NeRF360提速了24X
• 主要贡献：
  • 多采样
  • 预滤波

多采样：train左，test右

Reference

[PDF] NeRD: Neural Reflectance Decomposition From Image Collections
[PDF] SAMURAI: Shape And Material from Unconstrained Real-world Arbitrary Image collections
[PDF] Relighting4D: Neural Relightable Human from Videos
[PDF] Neural 3D Scene Reconstruction with the Manhattan-world Assumption
[PDF] NeROIC: Neural Rendering of Objects from Online Image Collections

对金属反光材质的物体重建效果很好

提出了一种新的光表示方法，颜色由漫反射和镜面反射两部分组成，通过两个阶段的方法来实现

• Stage1：使用集成方向编码来近似光积分，使用shadow MLP对直接光和间接光进行model，学习到了表面几何形状
• Stage2：蒙特卡罗采样固定几何形状，重建更精确的表面BRDF和环境光
  • $\mathbf{c}_{\mathrm{diffuse}}=\frac{1}{N_{d}}\sum_{i}^{N_{d}}(1-m)\mathrm{a}L(\omega_{i}),$
  • $\mathbf{c}_{\mathrm{specular}}=\frac{1}{N_{s}}\sum_{i}^{N_{s}}\frac{FG(\omega_{0}\cdot\mathbf{h})}{(\mathbf{n}\cdot\mathbf{h})(\mathbf{n}\cdot\omega_{\mathbf{0}})}L(\omega_{i}),$

2023.7.26 SOTA

like TensoRF: Tensorial Radiance Fields (apchenstu.github.io)+ Mip-NeRF + NGP

• 类似Mip-NeRF中的采样锥形方法，但是Tri-MipRF使用了与圆锥相切的采样球S=(x,r)，代替Mip-NeRF中的多元高斯圆锥体

  • 采样球的半径通过像素圆盘半径$\dot r$（由像素大小in world Coordinate），焦距f和$t_i$确定

• 类似TensoRF中的分解方法，将空间采样球分解到三个平面上，编码类似NGP中的HashGrid 使用2D平面来存取特征值，构建一个base level:$M^{L_{0}}$，通过downscaling来获得其他level的2D grid平面。

  • 通过base level中interest space的AABB求出$\ddot r$，并联合采样球半径r得到采样球在平面投影的level，根据此level和投影到平面上的二维坐标，在相邻两level $\mathcal{M}_{XY}^{\lfloor l\rfloor}$和$\mathcal{M}_{XY}^{\lceil l\rceil}$的2D grid中采用3线性插值得到采样球的特征值，最后三个分解平面的特征值cat起来作为MLP的一个输入

• 一种更好的渲染视图方法：Hybrid Volume-Surface Rendering

  • 通过在密度场中marching cubes和网格抽取来获得代理网格，粗略确定相机原点到物体表面的距离
  • 对代理网格进行有效栅格化，以获得圆锥体中轴线表面上的命中点，然后我们在距圆锥体中轴线命中点∆t距离内均匀采样球体，这产生2∆t采样间隔。
  • 优点：可以减少需要采样点的数量，且不会影响渲染出来图片的质量

• 优点：

  • fine-grained details in close-up views
  • and free of aliasing in distant views
  • 5 minute and smaller model parameters

• 缺点：

  • 需要使用multi-view segmentation methods将In-the-wildIn数据集中感兴趣的物体提取出来
    • 即需要mask

• novel Kalman-like scene parameterization：将场景参数化，将单位球外背景采样的截头锥参数化到r=2的球体内，单位球内的截头锥不受影响

• efficient proposal-based coarse-to-fine distillation framework：一个提议网络用来获取权重，用来进行精采样，再通过精采样的点根据NeRF 的MLP得到密度和颜色值

• regularizer designed for mipNeRF ray intervals：可以有效消除floaters(体积密集空间中不相连的小区域)和背景塌陷(远处的表面被错误地模拟成靠近相机的密集内容的半透明云)

$\begin{gathered}\mathcal{L}_{\mathrm{dist}}(\mathbf{s},\mathbf{w}) =\sum_{i,j}w_iw_j\left|\frac{s_i+s_{i+1}}{2}-\frac{s_j+s_{j+1}}{2}\right| \+\frac13\sum_iw_i^2(s_{i+1}-s_i) \end{gathered}$

• 一种新的采样方式：锥体采样conical frustums截头圆锥体
• 基于PE提出了IPE，可以平滑地编码空间体积的大小和形状
• 将NeRF的粗精采样MLP合并为一个MLP

IPE：当锥体区域较宽（正态分布很宽）时，会将高频的信息积分为0；当区域较窄时，保持原来的PEncoding