2025-01-19 企业动态 0
青暮近日，来自德国埃尔兰根-纽伦堡大学的学者提出了一个新颖的神经网络方法，以用于3D图像场景细化和新视图合成。只需输入点云和相机参数的初始估计，这项技术就能生成任意相机角度下的图像，并且360度旋转都不是问题。这项研究利用了大规模动态输入点云的优势，而这原本是“超级难”的问题。
研究人员表示，他们能够实时显示超过1亿个像素点的点云场景，这些3D图像是非常逼真的。他们使用了一种高效单像素点光栅化方法，让他们能够生成这样的高质量图像。此外，他们还使用了深度神经网络来去除这些伪影，使得合成出的图像是如照片般真实。
该渲染方法建立在之前Aliev等人所提出的一种基于传统点光栅化器与深度神经网络结合的管道之上，并对其进行了多种改进。该管道包括可微分光栅化器、神经渲染器以及基于物理的可微分色调映射器。
尽管这种技术已经可以生成非常逼真的3D图像，但它还有局限性之一是，由于不同参数的大量数量，不容易寻找合适的超参数。必须平衡纹理颜色、结构参数、色调映射设置和神经网络权重的学习速率。此外，点位置优化对于中到大的学习率是不稳定的，因此需要合理的初始点云。
然而，该研究已开源，提供给其他研究人员使用和进一步改进。此外，该技术不仅可以用于娱乐行业，也可以应用于建筑、电影制作等其他领域，为这些领域提供新的视觉创造可能性。在未来的工作中，我们可能会看到更多关于如何更有效地训练这个系统，以及如何扩展其功能以适应不同的应用场景。
