QiYun

• 生成初始点云(本文)，此外还有Colmap和Metashape等方法生成
  • 基于MVS Net的$G_{p,γ}$，生成每个点的位置和置信度（点是否在表面上）
  • 基于2D CNN的$G_f$，生成每个点的特征
• 点云处理：排除降低渲染质量的孔和异常值 每10K次迭代
  • Point pruning 对置信度低于0.1的点进行删除
  • Point growing 当ray marching中密度最大点(表面附近的点)周围的点比较少时，添加点来填补空白
• MLP获取点x的信息
  • MLP F：x点周围点的新特征$f_{i,x}=F(f_{i},x-p_{i}).$
  • MLP R：x点的辐射值(or颜色) $r=R(f_{x},d).$
    • x点的聚合特征$f_{x}=\sum_{i}\gamma_{i}\frac{w_{i}}{\sum w_{i}}f_{i,x},\mathrm{~where~}w_{i}=\frac{1}{|p_{i}-x|}.$
  • MLP T：x点周围点的密度 $\sigma_i=T(f_{i,x})$
    • x点的聚合密度$\sigma=\sum_{i}\sigma_{i}\gamma_{i}\frac{w_{i}}{\sum w_{i}},w_{i}=\frac{1}{|p_{i}-x|}.$

colmap tutorial

更好的重建效果需要拍摄的图片保证:

• 好的纹理
• 相似的照明条件，避免高动态范围场景（例如，逆光阴影或透过门窗的照片），避免在光滑表面上出现反射光
• 高视觉重叠度，确保每个对象至少在 3 张图像中可见，图像越多越好
• 从不同的视角拍摄图像，不要只通过旋转相机来拍摄相同位置的图像

探索了NeRF在工业和机器人领域的应用

• Instant-NGP 基于NeRF的视频压缩技术
• D-NeRF 根据过去的arm位置来预测未来的arm运动

Audio Visualization(一般用来显示音乐的频谱信息，可以直观地看出乐器/人声的频率)

• 将点描述成高斯体，对点云进行优化（点云模型）
  • 高质量、非结构化的离散表示——高斯体：均值控制位置，协方差控制高斯体形状（缩放+旋转）
  • 针对3D高斯特性的优化方法，并同时进行自适应密度控制
• Splatting的渲染方式，区别于体渲染
  • 实现了使用GPU进行快速可微的渲染，允许各向异性的抛雪球(Splatting)和快速反向传播

CS 148: Introduction to Computer Graphics and Imaging (stanford.edu)

贡献：

• 基于Transform的自注意力提出模型，用于将2D的三个orthographic的line drawing转化为3D模型，可以实现从图纸不完美的输入中生成正确的3D模型
• 输入的三个orthographic图纸被编码，输出的是3D模型程序的编码，最后解码后即3D模型对应的程序DSL

挑战：

• 应用于无法获得甚至不存在大规模CAD数据的领域，例如建筑物或复杂的机械设备
• 没有考虑图纸中的符号、图层等信息

对比photogrammetry与NeRF在3D Reconstruction中的表现，提供数据集Github_NeRFBK

• photogrammetry(Colmap)
  • 对无纹理物体重建效果很差(non-collaborative surfaces的3D测量)，例如镜面反射物体
    • 非协作表面: 反射、无纹理等
• NeRF(InstantNGP | NerfStudio | SDFstudio)

结论：

• 在传统摄影测量方法失败或产生嘈杂结果的情况下，例如无纹理、金属、高反射和透明物体，NeRF优于摄影测量
• 对于纹理良好和部分纹理的物体，摄影测量仍然表现更好

该研究为NeRF在不同现实场景中的适用性提供了有价值的见解，特别是在遗产和工业场景中，这些场景的表面可能特别具有挑战性，未来的研究可以探索NeRF和摄影测量的结合，以提高具有挑战性场景下三维重建的质量和效率

贡献：

• NeRFactor在未知光照条件下从图像中恢复物体形状和反射率
  • 在没有任何监督的情况下，仅使用重渲染损失、简单的平滑先验和从真实世界BRDF测量中学习的数据驱动的BRDF先验，恢复了表面法线、光能见度、反照率和双向反射分布函数(BRDFs)的3D神经场
• 通过NeRFactor的分解，我们可以用点光或光探针图像重新照亮物体，从任意视点渲染图像，甚至编辑物体的反照率和BRDF

贡献：

• 借鉴Mip-NeRF的IPE，提出一种新的IDE来编码方向向量
• 表面法向通过Spatial MLP来预测，并通过$\mathcal{R}_{\mathrm{p}}=\sum_{i}w_{i}|\hat{\mathbf{n}}_{i}-\hat{\mathbf{n}}_{i}^{\prime}|^{2},$来正则化使得预测得到的法向量和进一步计算的反射更加平滑
  • 这些MLP预测的法线往往比梯度密度法线更平滑
  • $\hat{\mathbf{n}}(\mathbf{x})=-\frac{\nabla\tau(\mathbf{x})}{|\nabla\tau(\mathbf{x})|}.$Eq.3
• 计算反射光的新渲染方式$\mathbf{c}=\gamma(\mathbf{c}_d+\mathbf{s}\odot\mathbf{c}_s),$
  • $\hat{\mathbf{\omega}}_r=2(\hat{\mathbf{\omega}}_o\cdot\hat{\mathbf{n}})\hat{\mathbf{n}}-\hat{\mathbf{\omega}}_o,$ Eq.4
  • $L_{\mathrm{out}}(\hat{\mathbf{\omega}}_{o})\propto\int L_{\mathrm{in}}(\hat{\mathbf{\omega}}_{i})p(\hat{\mathbf{\omega}}_{r}\cdot\hat{\mathbf{\omega}}_{i})d\hat{\mathbf{\omega}}_{i}=F(\hat{\mathbf{\omega}}_{r}).$ 借鉴此BRDF，提出的Direction MLP 得出$c_s$
  • 漫反射颜色$c_d$通过Spatial MLP预测得到
  • s是高光色调
  • 将空间MLP输出的瓶颈向量b传递到Direction MLP中，这样反射的亮度就可以随着3D位置的变化而变化。
• $\mathcal{R}_{\mathrm{o}}=\sum_{i}w_{i}\max(0,\hat{\mathbf{n}}_{i}^{\prime}\cdot\hat{\mathbf{d}})^{2}.$ 正则化项惩罚朝向远离相机的法线

局限：

• 编码导致的速度慢，和Spatial MLP的loss反向传播速度比Mip-NeRF慢
• 没有明确地模拟相互反射或非远距离照明
  • 忽略互反射和自遮挡等现象

方法：假设场景不发光，且忽略相互反射

• 从二值阴影图像中获得可见表面的入射亮度，然后处理更复杂的RGB图像
• 入射光辐射$C_\mathrm{in}(x,l)=L\prod_{i=1}^N(1-\alpha_i)$， 从单视图、多光源中重建出3D shape
  • $\mathcal{L}_\mathrm{shadow}=|\widehat{C}_\mathrm{in}-I_\mathrm{s}|_1.$
• 出射光辐射$C(x,-\mathbf{v})=(\rho_d+\rho_s)C_{\mathrm{in}}(x,l)(l\cdot\mathbf{n})$
  • $\mathcal{L}_\mathrm{rgb}=|\widehat{C}-I_\mathrm{r}|_1$

表现：outperforms the SOTAs in single-view reconstruction, and it has the power to reconstruct scene geometries out of the camera’s line of sight.

• 局部CP分解，三向量
• 多尺度，占用网格方式

使用$\hat{C}(\mathbf{r})=\sum_{i=1}^No(\mathbf{x}_i)\prod_{j<i}\bigl(1-o(\mathbf{x}_j)\bigr)c(\mathbf{x}_i,\mathbf{d})$ 占据o来代替NeRF中的$\alpha$
将VR与SR结合起来，首先根据占据场获取表面的点$t_s$，然后在$t_s$的一个区间内均匀采样点来进行颜色场的优化(如果光线没有穿过物体，则使用分层采样)

基于EG3D无条件生成模型
PAniC-3D对比PixelNeRF、EG3D(+Img2stylegan or +PTI)、Pifu

估计视图之间的相对相机姿态

贡献：

• 2D提取voxel特征 —> 相机姿态估计 —> 特征共享+融合 —> MLP神经隐式重建 —> 渲染已有相机位姿的图片，并计算与gt之间的loss
• 新的损失函数

NeRO代码liuyuan-pal/NeRO: [SIGGRAPH2023] NeRO: Neural Geometry and BRDF Reconstruction of Reflective Objects from Multiview Images (github.com)