QiYun

解决了Neus中SDF的一个限制：仅限于封闭表面的重建，无法重建包含开放表面结构的广泛的现实世界对象
NeUDF使用UDF：仅从多视图监督中重建具有任意拓扑的表面

• 提出了两个专门为基于UDF的体渲染量身定制的权重函数的新公式
  • $w_r(t)=\tau_r(t)e^{-\int_0^t\tau_r(u)du}$ Eq.4
  • $\tau_r(t)=\left|\frac{\frac{\partial(\varsigma_r\circ\Psi\circ p)}{\partial t}(t)}{\varsigma_r\circ\Psi\circ p(t)}\right|$ Eq.5
    • $\varsigma_{r}(d) = \frac x{1+x}$
    • UDF: $d=\Psi_{\mathcal{O}}(x)$
• 为了应对开放表面渲染，当输入/输出测试不再有效时，我们提出了一种专用的法向正则化策略来解决表面方向模糊问题
  • 用邻近的插值法向替换原始采样的表面法向

局限：

• 无法重建透明表面
• 平滑度和高频细节无法同时拥有
• 需要额外的网格划分工具，导致重构误差
• 展望：透明表面、稀疏视图

• 生成初始点云(本文)，此外还有Colmap和Metashape等方法生成
  • 基于MVS Net的$G_{p,γ}$，生成每个点的位置和置信度（点是否在表面上）
  • 基于2D CNN的$G_f$，生成每个点的特征
• 点云处理：排除降低渲染质量的孔和异常值 每10K次迭代
  • Point pruning 对置信度低于0.1的点进行删除
  • Point growing 当ray marching中密度最大点(表面附近的点)周围的点比较少时，添加点来填补空白
• MLP获取点x的信息
  • MLP F：x点周围点的新特征$f_{i,x}=F(f_{i},x-p_{i}).$
  • MLP R：x点的辐射值(or颜色) $r=R(f_{x},d).$
    • x点的聚合特征$f_{x}=\sum_{i}\gamma_{i}\frac{w_{i}}{\sum w_{i}}f_{i,x},\mathrm{~where~}w_{i}=\frac{1}{|p_{i}-x|}.$
  • MLP T：x点周围点的密度 $\sigma_i=T(f_{i,x})$
    • x点的聚合密度$\sigma=\sum_{i}\sigma_{i}\gamma_{i}\frac{w_{i}}{\sum w_{i}},w_{i}=\frac{1}{|p_{i}-x|}.$

colmap tutorial

更好的重建效果需要拍摄的图片保证:

• 好的纹理
• 相似的照明条件，避免高动态范围场景（例如，逆光阴影或透过门窗的照片），避免在光滑表面上出现反射光
• 高视觉重叠度，确保每个对象至少在 3 张图像中可见，图像越多越好
• 从不同的视角拍摄图像，不要只通过旋转相机来拍摄相同位置的图像

探索了NeRF在工业和机器人领域的应用

• Instant-NGP 基于NeRF的视频压缩技术
• D-NeRF 根据过去的arm位置来预测未来的arm运动

• 将点描述成高斯体，对点云进行优化（点云模型）
  • 高质量、非结构化的离散表示——高斯体：均值控制位置，协方差控制高斯体形状（缩放+旋转）
  • 针对3D高斯特性的优化方法，并同时进行自适应密度控制
• Splatting的渲染方式，区别于体渲染
  • 实现了使用GPU进行快速可微的渲染，允许各向异性的抛雪球(Splatting)和快速反向传播

CS 148: Introduction to Computer Graphics and Imaging (stanford.edu)

贡献：

• 基于Transform的自注意力提出模型，用于将2D的三个orthographic的line drawing转化为3D模型，可以实现从图纸不完美的输入中生成正确的3D模型
• 输入的三个orthographic图纸被编码，输出的是3D模型程序的编码，最后解码后即3D模型对应的程序DSL

挑战：

• 应用于无法获得甚至不存在大规模CAD数据的领域，例如建筑物或复杂的机械设备
• 没有考虑图纸中的符号、图层等信息

对比photogrammetry与NeRF在3D Reconstruction中的表现，提供数据集Github_NeRFBK

• photogrammetry(Colmap)
  • 对无纹理物体重建效果很差(non-collaborative surfaces的3D测量)，例如镜面反射物体
    • 非协作表面: 反射、无纹理等
• NeRF(InstantNGP | NerfStudio | SDFstudio)

结论：

• 在传统摄影测量方法失败或产生嘈杂结果的情况下，例如无纹理、金属、高反射和透明物体，NeRF优于摄影测量
• 对于纹理良好和部分纹理的物体，摄影测量仍然表现更好

该研究为NeRF在不同现实场景中的适用性提供了有价值的见解，特别是在遗产和工业场景中，这些场景的表面可能特别具有挑战性，未来的研究可以探索NeRF和摄影测量的结合，以提高具有挑战性场景下三维重建的质量和效率

贡献：

• NeRFactor在未知光照条件下从图像中恢复物体形状和反射率
  • 在没有任何监督的情况下，仅使用重渲染损失、简单的平滑先验和从真实世界BRDF测量中学习的数据驱动的BRDF先验，恢复了表面法线、光能见度、反照率和双向反射分布函数(BRDFs)的3D神经场
• 通过NeRFactor的分解，我们可以用点光或光探针图像重新照亮物体，从任意视点渲染图像，甚至编辑物体的反照率和BRDF