将 3D 对象无缝地合成到真实场景中是一项具有挑战性的任务，尤其是当缺乏配对的合成场景图像时。传统的 3D 对象合成方法通常需要大量的配对训练数据，这在实际应用中往往难以获得。为了解决这一问题，拉瓦尔大学、Depix Technologies 和芝加哥丰田技术学院的研究人员提出了 ZeroComp，一种高效的零样本 3D 对象合成方法。
ZeroComp 的核心思想是利用 ControlNet 从内在图像中进行条件化，并将其与 Stable Diffusion 模型结合，利用其场景先验，共同作为一个有效的渲染引擎。这种方法在训练过程中不需要配对的合成场景图像，而是使用基于几何、反照率和掩码阴影的内在图像。
ZEROCOMP能够在没有任何特定训练的情况下，将3D虚拟物体无缝地合成到真实的照片背景中。这就像是有了一种魔法，可以让你在照片中添加任何你想要的物品，而且看起来就像真的存在于那个场景中一样。
主要功能和特点：
- 零样本学习：ZEROCOMP不需要在训练期间看到特定场景的合成图像。这意味着它可以在没有见过特定场景的情况下，也能将虚拟物体合成到其中。
- 真实感光影处理：它能够根据背景图像的内在属性（如深度、表面法线、反照率）来调整虚拟物体的光影，使其看起来非常自然。
- 保持物体原有特征：在合成过程中，ZEROCOMP能够保持虚拟物体的形状、姿态和纹理，不会因为合成而改变物体的原始外观。
- 高质量的评估数据集：研究者们还开发了一个高质量的评估数据集，用于评估不同3D物体合成方法的性能。
工作原理：
ZEROCOMP的工作原理可以分为以下几个步骤：
- 内在图像分解：首先，它使用专门的网络（如ZoeDepth、StableNormal等）将背景图像转换成其内在图像，包括深度图、法线图和反照率图。
- 虚拟物体渲染：然后，使用图形引擎（如Blender）根据3D模型渲染出虚拟物体的内在图像。
- 合成内在图像：将背景和物体的内在图像合成在一起，形成一组复合的内在图像。
- 神经网络渲染：最后，使用训练好的ZEROCOMP模型，根据这些复合的内在图像生成最终的合成图像，这个过程中模型会根据场景的光照自动调整物体的阴影和高光。
具体应用场景：
- 电影和游戏制作：在电影或游戏的后期制作中，可以使用ZEROCOMP来添加或替换场景中的物体，提高制作效率。
- 虚拟现实和增强现实：在VR或AR应用中，ZEROCOMP可以用来在真实世界的场景中添加虚拟元素，提升用户体验。
- 广告和营销：在广告设计中，ZEROCOMP可以帮助设计师快速将产品模型放置到各种不同的背景中，制作出吸引人的广告图像。
- 艺术创作：艺术家和摄影师也可以利用ZEROCOMP来创作出具有创意的合成作品，将现实与虚拟世界无缝结合。
总的来说，ZEROCOMP是一种强大的工具，它能够在没有任何特定训练的情况下，将虚拟物体真实地合成到真实世界的场景中，为各种创意工作提供了新的可能性。