清华大学与上海人工智能实验室联合打造多功能图像局部重绘模型「PowerPaint」,如何在本地安装?

由清华大学与上海人工智能实验室联合打造的多功能图像局部重绘模型PowerPaint正式公布,支持的功能包括文本引导的对象修复、上下文感知图像修复、形状引导的对象修复以及超出画布的填充,此模型的功能与之前小编介绍过的<免费开源AI图片修复工具「Lama Cleaner」>部分功能相似,目前该模型已经上架GitHub和Hugging Face,大家可以在本地安装来体验此模型。

[t-success icon='']PowerPaint[/t-success]

多功能图像局部重绘模型PowerPaint支持ControlNet,图像重绘是基于Stable Diffusion1.5模型,通过正向提示词与反向提示词来控制图像生成品质,不过依照官方GitHub页面给出的安装方法,会出现模型加载错误,无法启动应用,目前已经有开发者给出了解决方法,一起来看看如何在本地安装PowerPaint吧!

项目主页:https://powerpaint.github.io

GitHub地址:https://github.com/open-mmlab/mmagic/tree/main/projects/powerpaint

模型地址:https://huggingface.co/JunhaoZhuang/PowerPaint-v1

[t-info icon='']如何安装在本地安装PowerPaint?[/t-info]

1、前面已经说了官方项目有问题,安装会出问题,因此建议大家使用B站UP主"青龙圣者"修改后的版本,也可以下载青龙圣版本中的gradio_PowerPaint.py和requirements-windows.txt替换掉官方版本对应文件即可

GitHub地址:https://github.com/sdbds/powerpaint-for-windows

2、选择一个安装位置,记住安装路径不要有中文,使用 命令提示符(CMD)或者 终端 进行下载及安装,右键单击即可选择 终端 打开或者在地址栏输入CMD打开命令提示符

抖音小姐姐要失业?字节跳动与新加坡国立大学联合推出 AI 视频生成框架「MagicAnimate」,一张照片就能生成跳舞视频

3、使用以下命令下载PowerPaint,如果你无法访问GitHub,可参考<Github无法访问?这些方法可以帮你解决问题>

git clone https://github.com/sdbds/powerpaint-for-windows.git

4、接着就是为需要为PowerPaint安装及激活 python 环境,使用以下命令

cd powerpaint-for-windows
python -m venv venv
.\venv\Scripts\activate

5、接下来就需要安装第三方依赖,目前国内网络环境安装都是调用清华的源进行下载

pip install -U -r requirements-windows.txt

如果想更换源,可以直接在后面加 -i,如

pip install -U -r requirements-windows.txt -i https://mirror.baidu.com/pypi/simple

6、依照上面的步骤其实此项目就已经安装完了,但还需要模型才能正常启动,模型可以使用命令行下载也可手动下载

(1)命令行

mkdir models
git lfs install
git lfs clone https://huggingface.co/JunhaoZhuang/PowerPaint-v1/ ./models

(2)手动

在powerpaint-for-windows文件夹下新建文件夹并重命名models,从Hugging Face上下载模型并放入models文件夹下

模型地址:https://huggingface.co/JunhaoZhuang/PowerPaint-v1/tree/main

7、模型安装完毕后就可以使用以下命令启动 PowerPaint

python gradio_PowerPaint.py

不过在启动 PowerPaint时会下载 Stable Diffusion1.5ControlNet模型,此模型会下载到C:\Users\Windows用户名\.cache\huggingface\hub目录下

👇加载完模型后即出现下面地址,使用 Ctrl+ 单击鼠标左键即可打开

8、在powerpaint-for-windows文件夹下新建一个文本文档,输入以下命令行,然后将文件名从.txt 改为.bat,之后点击该.bat 文件即可快速启动应用

@echo off
call venv\Scripts\activate
python gradio_PowerPaint.py
pause >nul

[t-success icon='']如何使用PowerPaint?[/t-success]

使用PowerPaint其实非常简单,上传图片后,使用画笔涂出蒙版区域,填写正向提示词/反向提示词后,点击run即可生成图片,完成区域重绘。

视频教程:

[t-success icon='']结语[/t-success]

由PowerPaint的重绘是基于Stable Diffusion1.5,因此重绘区域生成的图片质量并不高,尤其是人物生成方面,期待后续支持第三方模型或者SDXL模型。本人已将此项目下载上传到国内网盘,如果自己安装不好,可以进去网盘进行下载:

123网盘:https://www.123pan.com/s/I1oZVv-ymUGA.html 提取码:U0hH

我们将24小时内回复。
取消