文章目录[隐藏]
在 AI 绘画领域大红大紫的公司 Stability AI 近期大招频出,前几天才发布AI视频生成模型Stable Video Diffusion,当地时间11月28日又推出了新的开源文生图模型SDXL Turbo,SDXL Turbo是在SDXL 1.0的基础上采用新的蒸馏方案,让模型只需要一步就可以生成高质量图像,目前官方已经释出模型、论文以及官方演示。
开源地址:https://github.com/Stability-AI/generative-models
模型地址:https://huggingface.co/stabilityai/sdxl-turbo
论文地址:https://stability.ai/s/adversarial_diffusion_distillation.pdf
[t-dark icon='']SDXL Turbo[/t-dark]
SDXL Turbo是基于SDXL 1.0开发而成,并且使用了一种全新的对抗扩散蒸馏技术(ADD),将图像所需的生成步骤从50减少至1—4步,其整体架构如下所示,ADD通过两个loss来进行蒸馏:一个是adversarial loss,这里是定义一个discriminator来辨别生成的图像和真实的图像;二是采用常规的distillation loss,让student的输出和teacher的输出一致,具体技术细节可参考论文。
SDXL Turbo此次最重要的提升就是速度,不过可惜的是目前只能生成512x512的图像,但速度完全完全碾压其他模型,像是近期大火的LCM-XL。可惜的是适配性上远不如LCM-XL,对一些细节可能表现的不够好,例如人的手指、面部表情等,拟真度方面也完全无法与SDXL模型相比。只能期待官方后续改进以及网友们训练出更高质量的微调模型。
[t-success icon='']如果使用SDXL Turbo?[/t-success]
目前有多种方法可以使用SDXL Turbo模型,今天就一一介绍给大家:
一、官方演示
之前就给大家介绍过Stability AI旗下的AI图片编辑工具「ClipDro」,官方已经上线了SDXL Turbo模型,让大家可以免费试用。
二、Google Colab
在SDXL Turbo释出后,也迅速有网友制作了Colab版本,不仅支持文本生图还支持图生图,要使用此版本自然就是友好的网络环境以及谷歌账号。
Colab地址:https://colab.research.google.com/drive/1yRC3Z2bWQOeM4z0FeJ0rF6fnDTTSdnAJ?usp=sharing
三、ComfyUI
已经被官方收编的 ComfyUI 每次都是最先支持新模型,此次的SDXL Turbo自然也不在话下, ComfyUI也在今天释出了官方工作流,将工作流拖入ComfyUI界面后就可以使用SDXL Turbo模型,SDXL Turbo模型下载后放入ComfyUI\models\checkpoints
目录下,输入提示词后点击提示词队列即可体验SDXL Turbo。
模型下载地址:https://huggingface.co/stabilityai/sdxl-turbo/blob/main/sd_xl_turbo_1.0_fp16.safetensors
工作流下载地址:https://comfyanonymous.github.io/ComfyUI_examples/sdturbo
👇如果想体验SDXL Turbo快速生图能力,那么就勾选提示词队列下的更多选项,然后勾选Auto Queue
👇接着就可以边写提示词便查看生成的图片,可以说是实时AI绘画
[t-info icon='']结语[/t-info]
其实 Stability AI 官方也提供了一种在本地运行SDXL Turbo的方法,但搭建与运行比较麻烦,如果你的电脑配置不行可以使用官方演示,本地自然推荐大家使用ComfyUI,如果嫌生成的图片太小细节不足,可以自行添加图片放大节点,对图片进一步放大。如果你没办法下载模型,可从下面的网盘下载:
网盘下载:https://www.123pan.com/s/I1oZVv-9dUGA.html 提取码:SVDX