实拍数据深度学习助力混合现实场景的真实感镜头虚化呈现

JZ00ds

标题：实拍数据深度学习助力混合现实场景的真实感镜头虚化呈现

摘要：作者介绍了神经散景，这是一种深度学习方法，用于合成令人信服的失焦效果，并在混合现实 （MR） 图像和视频合成中应用。与仅学习失焦区域模糊量的现有方法不同，我们的方法捕获了散景的整体特征，从而能够将渲染的场景内容无缝集成到真实图像中，从而确保在生成的MR构图上保持一致的镜头模糊。我们的方法从使用物理相机获取的真实图像数据集中学习空间变化的模糊形状，即散景，该物理相机用于捕获MR合成的照片或视频。因此，那些学习到的模糊形状模仿了物理镜头的特性。随着运行时间和神经散景的质量随着输入图像分辨率的增加而增加，我们采用低分辨率图像在运行时进行MR视图查找，并使用高分辨率渲染在离线过程中与高分辨率照片或视频进行合成。我们设想了各种应用，包括图像的视觉增强和视频合成，其中包含创造性地利用失焦效果。