来自南开大学、腾讯、东京大学等机构的研究团队开源了人像生成器 PhotoMaker,目前应用Demo已免费开放体验,只需上传一张或以上照片,无需额外LoRA训练,就能快速生成多种风格的肖像,还能保持人脸一致。开发者给了两个体验版本:官方原版以及风格化版本。其中风格化版,要想实现更好的效果,仅需要更改基础模型并添加LoRA模块。
项目主页:https://photo-maker.github.io
GitHub地址:https://github.com/TencentARC/PhotoMaker
官方写实风格的Demo地址:https://huggingface.co/spaces/TencentARC/PhotoMaker
风格化版本的Demo地址:https://huggingface.co/spaces/TencentARC/PhotoMaker-Style
[t-success icon='']PhotoMaker[/t-success]
PhotoMaker 是一种高效的个性化文本到图像生成方法,它将任意数量的输入 ID 图像编码为堆栈 ID 嵌入,以保存 ID 信息。通过将艺术绘画、雕塑或人物的老照片作为输入,PhotoMaker 可以将艺术品 / 老照片中的人物带入现实、在保留 ID 属性的同时进行风格化、改变年龄或性别、混合不同人像的特征并以一定的比例输出新特征的人像等。简单来说,PhotoMaker采用了一种简单而有效的表示方法——堆叠ID嵌入。它可将多个身份证明(ID)图像的信息合并成统一的数据结构,这样能更好保存单个ID信息的同时,还能整合多个不同ID特征。
[t-success icon='']如何使用PhotoMaker?[/t-success]
1️⃣ 上传您想要定制的某人的图片。一张图片就足够了,但越多越好。尽管我们不执行面部检测,但上传图片中的脸部应该占据图片的大部分。
2️⃣ 输入一个文本提示,确保使用您想要定制的类别词跟随触发词:img,例如:man img 或 woman img 或 girl img。
3️⃣ 选择您喜欢的风格模板。
4️⃣ 点击提交按钮开始定制。
目前已有开发者将 PhotoMaker迁移到 ComfyUI,不过对于显卡显存的要求比较高,要求显存 >16G (20G左右),如果你的显存满足要求可以在ComfyUI里安装试试。
ComfyUI PhotoMaker:https://github.com/ZHO-ZHO-ZHO/ComfyUI-PhotoMaker
Comfyui-Mine-PhotoMaker:https://github.com/StartHua/Comfyui-Mine-PhotoMaker
网友利用PhotoMaker反向操作,把动漫角色还原为真实人物