西北工业大学、上海人工智能实验室和南洋理工大学的研究人员推出一个名为"Material Anything"的系统，这是一个用于为各种3D对象生成物理基础材料（PBR材料）的全新框架。该系统能够处理不同光照条件下的多样化3D网格，包括无纹理、仅有反照率、生成的和扫描的对象。
例如，你有一个3D模型，这个模型是一个没有纹理的金属球。使用"Material Anything"，你可以生成这个球的物理基础材料，如反照率图、粗糙度图、金属度图和凹凸图，使得这个球在不同的光照条件下看起来都真实可信。
主要功能：
- 材料生成：为3D对象生成高质量的PBR材料，包括反照率、粗糙度、金属度和凹凸映射。
- 光照适应性：能够适应不同的光照条件，包括真实世界扫描的光照、生成的光照和无光照情况。
- 多视角一致性：确保从不同视角生成的材料保持一致性。
主要特点：
- 自动化和统一化：提供了一个全自动、统一的扩散框架，无需复杂的管线或特定案例的优化。
- 三重头架构：使用预训练的图像扩散模型，通过三重头架构增强，提高稳定性和材料质量。
- 信心掩码：引入信心掩码作为扩散模型中的动态切换器，有效处理有纹理和无纹理对象。
- 渐进式材料生成策略：通过信心掩码引导的材料生成，以及UV空间材料细化器，确保一致性和UV准备的材料输出。
工作原理：
"Material Anything"的核心在于两个组件：
- 基于图像的材料扩散估计器：利用预训练的图像扩散模型，通过三重头U-Net架构和渲染损失来适应PBR材料生成，同时使用信心掩码来处理不同光照条件下的输入。
- 3D对象的材料生成：通过渐进式材料生成策略和UV空间材料细化器，确保从多个视角生成的材料一致性，并进一步细化材料，以实现3D一致性和高质量的UV映射。
具体应用场景：
- 视频游戏和虚拟现实：为虚拟环境中的3D对象生成逼真的材料，提高视觉真实感。
- 电影和动画制作：快速生成高质量的3D模型材料，减少手动纹理绘制的工作量。
- 产品设计和可视化：允许设计师快速迭代和定制3D模型的材料，以适应不同的设计需求。
- 教育和培训：创建具有真实材料属性的3D模型，用于教学和模拟训练。
"Material Anything"通过其创新的架构和方法，为3D对象的材料生成提供了一个强大而灵活的工具，能够在多种应用场景中实现精确和富有创意的材料生成。