MagicAnimate的好帮手!最新开源项目Vid2DensePose,一键快速生成模板视频

昨天在《字节跳动与新加坡国立大学联合推出AI 视频生成框架「MagicAnimate」》里就说了制作长视频,处理Motion Sequence(运动序列)就是个非常麻烦的事情,不过已经有团队释出了开源项目Vid2DensePose,让大家可以轻松处理视频制作成Motion Sequence视频,然后用于MagicAnimate生成视频。

[t-success icon='']Vid2DensePose[/t-success]

Vid2DensePose是一个强大的工具,旨在将DensePose模型应用于视频,为每个帧生成详细的“Part Index(部位索引)”可视化。这个工具在增强动画方面非常有用,特别是与MagicAnimate结合使用时,可以实现时间上连贯的人体图像动画效果。

GitHub地址:https://github.com/Flode-Labs/vid2densepose

[t-success icon='']前期准备[/t-success]

「MagicAnimate」由于使用 SD1.5 模型以及官方范例的照片和 Motion Sequence(运动序列)都是 1:1 比例的大小,也就是 512X512,所以大家准备的视频尺寸最好是 1:1 比例(512X512),可以在转换前处理也可转换后处理。大家可以使用ffmpeg进行处理,也可以使用其他视频编辑软件进行处理。

1、使用 命令提示符(CMD)或者 终端,使用以下ffmpeg 命令:

将视频修改为512x512尺寸,其中XXX为视频名,请修改为自己的视频名,视频请用英文命名

ffmpeg -i XXX.mp4 -s 512x512 -c:a copy XXX-512.mp4

对视频长度进行截取,MagicAnimate生成视频所需时间较长,因此建议Motion Sequence视频不要过长

ffmpeg -i XXX-512.mp4 -ss 00:00:00 -t 00:00:04 -async 1 XXX-512-trimmed.mp4

2、HandBrake

如果你觉得ffmpeg 命令进行处理太麻烦,你可以使用其他视频编辑软件进行处理,小编推荐大家使用开源视频转码软件HandBrake,此软件支持支持macOS、Windows和Linux平台,支持修改视频尺寸、码率以及截取,还支持批量处理。

官网地址:https://handbrake.fr

网盘备份:https://pan.baidu.com/s/1M6S9PR81-q4CykhGzCTL_Q?pwd=qzxs

[t-success icon='']如何安装Vid2DensePose?[/t-success]

一、Hugging Face

目前已经有网友在Hugging Face上搭建了此应用,上传或录制视频后,点击Submit后即可开始处理视频。

地址:https://huggingface.co/spaces/fffiloni/video2densepose

👇处理完后即可下载,目前使用人数不多,处理速度不错

二、Google Colab

开发者也制作了Colab 版本,使用Colab 版本版本可以制作出与官方范例的Motion Sequence视频一样的效果,要使用Colab版本自然就是需要你有谷歌账号和网络环境

地址:https://colab.research.google.com/drive/1x77dESn7EGPCqjKdQ1sJJhNu0Cf-5Gpt?usp=sharing

1、进入 Colab 后点击Install the libraries下的播放按钮,下载此项目、模型及第三方依赖

👇如弹出此窗口,点击任然运行即可开始下载运行

👇需要约4分钟才能下载完

2、点击左侧边栏的文件夹选项,然后点击上传按钮,上传视频进行处理

👇将INPUT_VIDEO_PATH后的视频名output_video.mp4改为上传的视频名称,如本人上传的视频名为Habin.mp4,那么此次就要改为Habin.mp4;OUTPUT_VIDEO_PATH后的视频文件名也可以更改

👇点击播放按钮可以进行视频处理

3、处理完毕后,点击刷新按钮可以看到处理完的视频,就可以下载保存

👇生成的效果

三、本地安装

此项目目前给出的安装方法在Windows下安装会出错,开发者也会在回复他人时表示目前在Windows系统上安装会出问题,建议大家在Linux上进行安装或者在Windows Subsystem for Linux (WSL) 上安装,这里小编就不做介绍了,期待开发者后续改进。

[t-success icon='']结语[/t-success]

Vid2DensePose才上架GitHub,Windows平台上安装此项目问题还不少,因此目前建议大家使用Hugging Face、Google Colab上网友们搭建的版本。

我们将24小时内回复。
取消