先把问题说清楚
给定同一场景的多张图像，如何生成一个未被拍摄过的视角？这就是新视角合成的核心问题之一。它与“从图像恢复完整、可交互的物理世界”有关，但并不等同。
两项代表性工作提供了不同的场景表示方式：ECCV 2020 的 NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis，以及 SIGGRAPH 2023 的 3D Gaussian Splatting for Real-Time Radiance Field Rendering。
NeRF：用连续函数表示场景
NeRF 使用神经网络，将空间位置与观察方向映射到体密度与颜色，并通过体渲染生成图像。它的关键不是简单地存储一组照片，而是学习一个能够从不同视角查询的连续场景表示。
阅读时可以重点追踪三个部分：输入坐标如何编码、沿相机射线如何采样，以及渲染图像如何与训练图像形成监督信号。
3D Gaussian Splatting：显式表示的另一条路
3D Gaussian Splatting 将场景表示为一组三维高斯，优化其位置、形状、不透明度与外观，并通过可见性感知的 splatting 渲染生成图像。原始工作针对高质量实时新视角合成展开。
这为比较隐式与显式表示提供了一个具体案例：表示如何影响优化过程、内存需求与渲染方式？同样的视觉质量，是否意味着相同的几何质量？
比较时，不要混淆三件事
- 图像质量：合成图像与参考图像有多接近。
- 几何准确性：表示是否恢复了可靠的三维结构。
- 物理一致性：场景是否能够支持可信的动力学与交互。
高质量的新视角合成并不能自动证明后两者。查看任何性能数字时，还应核对硬件、图像分辨率、数据集与训练设置。本文不对两项工作的性能作额外量化承诺。
原始来源
- Mildenhall et al. NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis. ECCV 2020. 项目主页、论文与代码。
- Kerbl et al. 3D Gaussian Splatting for Real-Time Radiance Field Rendering. SIGGRAPH 2023. 项目主页、论文与代码。
本页为公开论文阅读导览，不是本站的研究成果，也不代表与作者存在合作关系。