共计 992 个字符,预计需要花费 3 分钟才能阅读完成。
由香港理工大学与 OPPO 研究院联合提出了一种名为内容一致性超分辨率(CCSR)的新图像增强方法,旨在提高基于扩散模型的超分辨率(SR)任务的稳定性。现有的基于扩散先验的 SR 方法在处理低分辨率(LR)图像时,往往会产生不同的输出结果,这种随机性对于文本到图像生成任务是有益的,但对于 SR 任务来说却是一个问题,因为 SR 任务期望图像内容能够被良好地保留。为了解决这个问题,CCSR 方法采用了扩散模型来细化图像结构,并利用对抗性训练来增强图像的精细细节。具体来说,提出了一种非均匀时间步长学习策略来训练一个紧凑的扩散网络,该网络在高效性和稳定性方面能够复制图像的主要结构,并通过对抗性训练对变分自编码器(VAE)的预训练解码器进行微调以增强细节。广泛的实验表明,CCSR 方法显著减少了基于扩散先验的 SR 的随机性,提高了 SR 输出的内容一致性,并加快了图像生成过程。
- 提出了一种新的超分辨率技术,通过使用预训练的扩散模型来增强图像的感知质量。
- 提出了一种非均匀时间步长学习策略来训练一个紧凑的扩散网络,以提高图像结构的生成效率和稳定性。
- 通过对抗性训练微调预训练的 VAE 解码器,以增强图像的精细细节。
相关工作:
- 讨论了使用深度学习进行超分辨率的方法,包括基于 CNN 和 Transformer 的方法。
- 提到了使用生成对抗网络(GAN)来提高超分辨率图像的感知质量。
- 讨论了基于扩散模型(DM)的超分辨率方法,以及它们在处理真实世界复杂退化时的挑战。
方法:
- 结构细化阶段:使用非均匀时间步长采样策略从 LR 图像中提取信息,并生成图像结构。
- 细节增强阶段:通过对抗性训练微调 VAE 解码器,以增强图像的精细细节。
实验:
- 在合成数据集和真实世界数据集上进行了广泛的实验,包括 DIV2K、RealSR、DRealSR 等。
- 与现有的基于 GAN 和 DM 的 SR 方法进行了比较,包括 BSRGAN、RealESRGAN、LDM-SR 等。
- 提出了新的稳定性度量,包括全局标准差(G-STD)和局部标准差(L-STD),以评估 DM 基 SR 模型的稳定性。
结论:
- CCSR 方法在保持图像内容一致性和提高图像质量方面表现出色,同时在 15 个采样步骤内实现了快速的图像生成过程。
正文完
关注公众号获取最新教程
![post-qrcode](https://pic.gametop10.cn/wp-content/uploads/2023/04/1680444958-weixinG.jpg)
发表至:无分类
2024-01-12