文章目录[隐藏]
昨天在《字节跳动与新加坡国立大学联合推出AI 视频生成框架「MagicAnimate」》里就说了制作长视频,处理Motion Sequence(运动序列)就是个非常麻烦的事情,不过已经有团队释出了开源项目Vid2DensePose,让大家可以轻松处理视频制作成Motion Sequence视频,然后用于MagicAnimate生成视频。
[t-success icon='']Vid2DensePose[/t-success]
Vid2DensePose是一个强大的工具,旨在将DensePose模型应用于视频,为每个帧生成详细的“Part Index(部位索引)”可视化。这个工具在增强动画方面非常有用,特别是与MagicAnimate结合使用时,可以实现时间上连贯的人体图像动画效果。
[t-success icon='']前期准备[/t-success]
「MagicAnimate」由于使用 SD1.5 模型以及官方范例的照片和 Motion Sequence(运动序列)都是 1:1 比例的大小,也就是 512X512,所以大家准备的视频尺寸最好是 1:1 比例(512X512),可以在转换前处理也可转换后处理。大家可以使用ffmpeg进行处理,也可以使用其他视频编辑软件进行处理。
1、使用 命令提示符(CMD)或者 终端,使用以下ffmpeg 命令:
将视频修改为512x512尺寸,其中XXX为视频名,请修改为自己的视频名,视频请用英文命名
ffmpeg -i XXX.mp4 -s 512x512 -c:a copy XXX-512.mp4
对视频长度进行截取,MagicAnimate生成视频所需时间较长,因此建议Motion Sequence视频不要过长
ffmpeg -i XXX-512.mp4 -ss 00:00:00 -t 00:00:04 -async 1 XXX-512-trimmed.mp4
2、HandBrake
如果你觉得ffmpeg 命令进行处理太麻烦,你可以使用其他视频编辑软件进行处理,小编推荐大家使用开源视频转码软件HandBrake,此软件支持支持macOS、Windows和Linux平台,支持修改视频尺寸、码率以及截取,还支持批量处理。
官网地址:https://handbrake.fr
网盘备份:https://pan.baidu.com/s/1M6S9PR81-q4CykhGzCTL_Q?pwd=qzxs
[t-success icon='']如何安装Vid2DensePose?[/t-success]
一、Hugging Face
目前已经有网友在Hugging Face上搭建了此应用,上传或录制视频后,点击Submit后即可开始处理视频。
👇处理完后即可下载,目前使用人数不多,处理速度不错
二、Google Colab
开发者也制作了Colab 版本,使用Colab 版本版本可以制作出与官方范例的Motion Sequence视频一样的效果,要使用Colab版本自然就是需要你有谷歌账号和网络环境
地址:https://colab.research.google.com/drive/1x77dESn7EGPCqjKdQ1sJJhNu0Cf-5Gpt?usp=sharing
1、进入 Colab 后点击Install the libraries下的播放按钮,下载此项目、模型及第三方依赖
👇如弹出此窗口,点击任然运行即可开始下载运行
👇需要约4分钟才能下载完
2、点击左侧边栏的文件夹选项,然后点击上传按钮,上传视频进行处理
👇将INPUT_VIDEO_PATH后的视频名output_video.mp4改为上传的视频名称,如本人上传的视频名为Habin.mp4,那么此次就要改为Habin.mp4;OUTPUT_VIDEO_PATH后的视频文件名也可以更改
👇点击播放按钮可以进行视频处理
3、处理完毕后,点击刷新按钮可以看到处理完的视频,就可以下载保存
👇生成的效果
三、本地安装
此项目目前给出的安装方法在Windows下安装会出错,开发者也会在回复他人时表示目前在Windows系统上安装会出问题,建议大家在Linux上进行安装或者在Windows Subsystem for Linux (WSL) 上安装,这里小编就不做介绍了,期待开发者后续改进。
[t-success icon='']结语[/t-success]
Vid2DensePose才上架GitHub,Windows平台上安装此项目问题还不少,因此目前建议大家使用Hugging Face、Google Colab上网友们搭建的版本。