图像自编码过程中的关键挑战是创建能够保留细节的高质量重建，特别是在图像数据经过压缩的情况下。传统的自编码器依赖于像素级损失（如均方误差 MSE），往往会产生模糊的输出，无法捕捉高频细节、文本信息和边缘信息。虽然生成对抗网络（GANs）等对抗方法有助于增强重建的真实感，但它们引入了其他问题，如训练不稳定和生成图像的低变异性。克服这些挑战对于改进图像生成、压缩和实时视频合成等应用至关重要。
现有方法的局限性
- 像素级损失：
- 传统的自编码器依赖于像素级损失（如 MSE），容易产生模糊的输出，无法捕捉高频细节。
- 生成对抗网络（GANs）：
- GANs 在生成逼真纹理方面表现出色，但训练不稳定，对超参数调优敏感。
- GAN 的确定性本质导致输出缺乏多样性，对于给定的潜在表示只能提供一种重建。
- GAN 需要大量的计算资源，不适合需要效率或实时运行的场景。
SWYCC 方法
为了解决上述挑战，谷歌的研究人员提出了“Sample What You Can’t Compress”（SWYCC），将基于自编码器的表示学习与扩散模型相结合。SWYCC 的核心思想是从压缩的潜在空间进行更丰富和高质量的随机解码，通过扩散过程引入重建过程中的随机性，生成更精细的细节。
主要功能和特点：
- 高质量的图像重建：SWYCC能够生成清晰、高质量的图像，即使在高压缩比率下也能保持较好的图像细节。
- 易于调整：与GAN相比，SWYCC不需要调整复杂的超参数，使得训练过程更加简单。
- 连续的编码器和解码器学习：这是首次展示在基于扩散的损失下联合学习连续编码器和解码器的有效性。
- 随机解码器：SWYCC的解码器是随机的，这意味着它可以在测试时生成不在潜在表示中的细节，从而提供更多的生成细节。
工作原理：
SWYCC的工作原理基于扩散模型，这是一种从噪声中生成数据的生成模型。具体来说，它通过以下步骤工作：
- 编码阶段：首先，使用一个编码器网络将输入图像编码成一个潜在的表示。
- 扩散过程：然后，通过添加噪声来逐渐“腐蚀”图像，直到它变成完全的噪声。
- 解码阶段：最后，使用一个解码器网络（在SWYCC中是一个U-Net结构）来从噪声中逐步恢复出原始图像。
这个过程可以被看作是一个“逆向”的扩散过程，其中解码器学习如何从噪声中重建出清晰的图像。通过这种方式，SWYCC能够在不同的压缩水平下生成高质量的图像。
关键组件
- 编码器：
- 基于 MaskGIT 架构的全卷积编码器，使用 ResNet 块将输入图像压缩为紧凑的潜在表示。
- 解码器：
- 两阶段图像重建解码器：
- DInitial：用于初步近似。
- DRefine：用于精细化重建。
- 基于 UNet 的扩散解码器，通过显式建模噪声破坏输入数据来指导解码器在重建过程中的作用。
- 两阶段图像重建解码器：
训练策略
- 复合损失函数：
- 包括扩散损失、感知损失和 MSE 损失，确保模型在像素级和感知上都表现良好。
- 直接惩罚 DInitial 输出，加速收敛并提高性能。
- 无分类器引导尺度用于微调生成图像的模型性能。
- 训练数据：
- 使用 ImageNet 数据集，图像调整为 256 × 256 像素。
实验结果
- 重建质量：
- SWYCC 在所有测试压缩中保持了最低的感知失真，重建更清晰，内容更详细。
- 输出变异性：
- SWYCC 从单一潜在表示中生成多个不同的输出，显著提高了生成图像的多样性。
- 性能指标：
- SWYCC 将 FID（Fréchet Inception Distance）降低了 5%，表明生成的图像在视觉保真度和真实感方面优于 GAN。
- SWYCC 在高压缩比下出色地保留了高频信息，如纹理和边缘。
应用场景
- 图像生成：改进图像生成的质量和多样性，适用于创意设计、广告和营销等领域。
- 图像压缩：在高压缩比下生成高质量图像，适用于存储和传输资源有限的场景。
- 实时视频合成：实时生成高质量视频，适用于视频会议、直播和游戏开发。
- 其他连续数据领域：音频、视频和 3D 建模等连续数据领域的潜在应用，通过引入随机解码和利用扩散过程，提高生成数据的质量和多样性。
SWYCC 提供了一个强大的框架来改进图像重建，通过引入随机解码和利用扩散过程，克服了传统基于 GAN 模型的挑战。SWYCC 在重建质量和输出变异性方面表现出色，简化了训练并提供了可扩展性的改进质量。这使得 SWYCC 在 AI 驱动的生成模型领域成为一项非常有价值的贡献，具有广泛的应用前景。