QiYun

• 对前景物体采用类似VolSDF的方法训练Modeling density with an SDF
• 使用Marching Cube 的方法来提取高分辨率网格Baking a high-resolution mesh
• Modeling view-dependent appearance，对baked后的高分辨率网格上顶点：采用漫反射颜色和球形高斯叶（前景3个波瓣，远处背景使用1个波瓣）
  • $\mathbf{C}=\mathbf{c}_{d}+\sum_{i=1}^{N}\mathbf{c}_{i}\exp\left(\lambda_{i}\left(\mu_{i}\cdot\mathbf{d}-1\right)\right).$

• Anomaly Detection for Reflection Score + Visibility Identification for Reflection Score
• Reflection Direction Dependent Radiance反射感知的光度损失

端到端的IDR：可以从masked的2D图像中学习3D几何、外观，允许粗略的相机估计

几何先验：使用COLMAP产生的稀疏点来作为SDF的显示监督—>可以捕获强纹理的复杂几何细节
具有多视图立体约束的隐式曲面上的几何一致监督—>大面积的光滑区域

贡献：

• 新的SDF与透明度$\alpha$关系函数，相较于NeuS更简单
• 将SDF分解为两个独立隐函数的组合：基和位移。并利用自适应尺度约束对隐函数分布不理想的区域进行重点优化，可以重构出比以往工作更精细的曲面

集成了与视图无关的全局颜色变量和与视图相关的relight效果

贡献：

• BRDF+SDF+PBR新框架，端到端训练，重建出Face的外观和几何
• 简单而新的低秩先验，镜面反射部分的Material Integral. 表示为线性组合的BRDF基

Frequency regularized NeRF (FreeNeRF)

T为正则化持续时间，t为当前训练迭代，L为输入位置编码的长度

How：

• High-frequency inputs cause the catastrophic failure in few-shot neural rendering.
  • 位置编码中高频信号可以使高频分量更快收敛，但是过快收敛将导致少样本神经渲染中灾难性的过拟合
  • 测试：将高频位置编码位设置为0，pos_enc[int(L * x%): ] = 0, ， L为位置编码的长度，x是可见比率
• Frequency regularization enjoys the benefits of both high-frequency and low-frequency signals.
  • 频率正则化：根据训练时间steps，线性增加的频率mask，来正则化可见频谱。即刚开始使用低频，逐步增加高频信号的可见性
  • 频率正则化有助于降低在开始时导致灾难性故障的过度拟合风险，并避免在最终导致过度平滑的欠拟合
• Occlusion regularization addresses the near-camera floaters.
  • 遮挡正则化，对相机附近密集场进行乘法

消除由近平面过度采样导致的摄像头附近漂浮物
可以通过几行代码简单的用于：

• Mip-NeRF 360
• InstantNGP
• DVGO
• TensoRF

在Neus基础上添加了：

• 哈希编码加速
  • 定制的二阶导数反向传播计算
  • 渐进式学习策略(渐进添加高leve的哈希表)
• 动态场景重建
  • 全局变换预测
  • 增量训练策略

主要代码通过cuda c++编写