QiYun

一种新的Marching Cube的方法

• 对前景物体采用类似VolSDF的方法训练Modeling density with an SDF
• 使用Marching Cube 的方法来提取高分辨率网格Baking a high-resolution mesh
• Modeling view-dependent appearance，对baked后的高分辨率网格上顶点：采用漫反射颜色和球形高斯叶（前景3个波瓣，远处背景使用1个波瓣）
  • $\mathbf{C}=\mathbf{c}_{d}+\sum_{i=1}^{N}\mathbf{c}_{i}\exp\left(\lambda_{i}\left(\mu_{i}\cdot\mathbf{d}-1\right)\right).$

• Anomaly Detection for Reflection Score + Visibility Identification for Reflection Score
• Reflection Direction Dependent Radiance反射感知的光度损失

端到端的IDR：可以从masked的2D图像中学习3D几何、外观，允许粗略的相机估计

推到了SDF-based Volume Rendering 渲染的颜色监督会造成表面颜色和几何的偏差。(对渲染贡献权重最大的颜色值的位置并不是物体的表面) Bias in color rendering
几何先验：使用COLMAP产生的稀疏点来作为SDF的显示监督—>可以捕获强纹理的复杂几何细节
具有多视图立体约束的隐式曲面上的几何一致监督—>大面积的光滑区域

贡献：

• 新的SDF与透明度$\alpha$关系函数，相较于NeuS更简单
• 将SDF分解为两个独立隐函数的组合：基和位移。并利用自适应尺度约束对隐函数分布不理想的区域进行重点优化，可以重构出比以往工作更精细的曲面

集成了与视图无关的全局颜色变量和与视图相关的relight效果

贡献：

• BRDF+SDF+PBR新框架，端到端训练，重建出Face的外观和几何
• 简单而新的低秩先验，镜面反射部分的Material Integral. 表示为线性组合的BRDF基

Frequency regularized NeRF (FreeNeRF)

T为正则化持续时间，t为当前训练迭代，L为输入位置编码的长度

How：

• High-frequency inputs cause the catastrophic failure in few-shot neural rendering.
  • 位置编码中高频信号可以使高频分量更快收敛，但是过快收敛将导致少样本神经渲染中灾难性的过拟合
  • 测试：将高频位置编码位设置为0，pos_enc[int(L * x%): ] = 0, ， L为位置编码的长度，x是可见比率
• Frequency regularization enjoys the benefits of both high-frequency and low-frequency signals.
  • 频率正则化：根据训练时间steps，线性增加的频率mask，来正则化可见频谱。即刚开始使用低频，逐步增加高频信号的可见性
  • 频率正则化有助于降低在开始时导致灾难性故障的过度拟合风险，并避免在最终导致过度平滑的欠拟合
• Occlusion regularization addresses the near-camera floaters.
  • 遮挡正则化，对相机附近密集场进行乘法

消除由近平面过度采样导致的摄像头附近漂浮物
可以通过几行代码简单的用于：

• Mip-NeRF 360
• InstantNGP
• DVGO
• TensoRF

在Neus基础上添加了：

• 哈希编码加速
  • 定制的二阶导数反向传播计算
  • 渐进式学习策略(渐进添加高leve的哈希表)
• 动态场景重建
  • 全局变换预测
  • 增量训练策略

主要代码通过cuda c++编写

解决了Neus中SDF的一个限制：仅限于封闭表面的重建，无法重建包含开放表面结构的广泛的现实世界对象
NeUDF使用UDF：仅从多视图监督中重建具有任意拓扑的表面

• 提出了两个专门为基于UDF的体渲染量身定制的权重函数的新公式
  • $w_r(t)=\tau_r(t)e^{-\int_0^t\tau_r(u)du}$ Eq.4
  • $\tau_r(t)=\left|\frac{\frac{\partial(\varsigma_r\circ\Psi\circ p)}{\partial t}(t)}{\varsigma_r\circ\Psi\circ p(t)}\right|$ Eq.5
    • $\varsigma_{r}(d) = \frac x{1+x}$
    • UDF: $d=\Psi_{\mathcal{O}}(x)$
• 为了应对开放表面渲染，当输入/输出测试不再有效时，我们提出了一种专用的法向正则化策略来解决表面方向模糊问题
  • 用邻近的插值法向替换原始采样的表面法向

局限：

• 无法重建透明表面
• 平滑度和高频细节无法同时拥有
• 需要额外的网格划分工具，导致重构误差
• 展望：透明表面、稀疏视图

• 生成初始点云(本文)，此外还有Colmap和Metashape等方法生成
  • 基于MVS Net的$G_{p,γ}$，生成每个点的位置和置信度（点是否在表面上）
  • 基于2D CNN的$G_f$，生成每个点的特征
• 点云处理：排除降低渲染质量的孔和异常值 每10K次迭代
  • Point pruning 对置信度低于0.1的点进行删除
  • Point growing 当ray marching中密度最大点(表面附近的点)周围的点比较少时，添加点来填补空白
• MLP获取点x的信息
  • MLP F：x点周围点的新特征$f_{i,x}=F(f_{i},x-p_{i}).$
  • MLP R：x点的辐射值(or颜色) $r=R(f_{x},d).$
    • x点的聚合特征$f_{x}=\sum_{i}\gamma_{i}\frac{w_{i}}{\sum w_{i}}f_{i,x},\mathrm{~where~}w_{i}=\frac{1}{|p_{i}-x|}.$
  • MLP T：x点周围点的密度 $\sigma_i=T(f_{i,x})$
    • x点的聚合密度$\sigma=\sum_{i}\sigma_{i}\gamma_{i}\frac{w_{i}}{\sum w_{i}},w_{i}=\frac{1}{|p_{i}-x|}.$

colmap tutorial

更好的重建效果需要拍摄的图片保证:

• 好的纹理
• 相似的照明条件，避免高动态范围场景（例如，逆光阴影或透过门窗的照片），避免在光滑表面上出现反射光
• 高视觉重叠度，确保每个对象至少在 3 张图像中可见，图像越多越好
• 从不同的视角拍摄图像，不要只通过旋转相机来拍摄相同位置的图像

探索了NeRF在工业和机器人领域的应用

• Instant-NGP 基于NeRF的视频压缩技术
• D-NeRF 根据过去的arm位置来预测未来的arm运动

Audio Visualization(一般用来显示音乐的频谱信息，可以直观地看出乐器/人声的频率)

• 将点描述成高斯体，对点云进行优化（点云模型）
  • 高质量、非结构化的离散表示——高斯体：均值控制位置，协方差控制高斯体形状（缩放+旋转）
  • 针对3D高斯特性的优化方法，并同时进行自适应密度控制
• Splatting的渲染方式，区别于体渲染
  • 实现了使用GPU进行快速可微的渲染，允许各向异性的抛雪球(Splatting)和快速反向传播