文章目录[隐藏]
之前给大家介绍过《腾讯开源视频运动控制器MotionCtrl》，这是一个可以用于控制 AI 生成视频中物体的运动路径的控制器，近期官方又上架了MotionCtrl+SVD，让大家可以控制SVD生成视频时的镜头移动，支持多种模式组合，不过目前实现的效果只是移动镜头。今天就一起来看看如何使用吧！
GitHub地址：https://github.com/TencentARC/MotionCtrl
MotionCtrl+VideoCrafter的Demo 地址：https://huggingface.co/spaces/TencentARC/MotionCtrl
MotionCtrl+SVD的Demo地址：https://huggingface.co/spaces/TencentARC/MotionCtrl_SVD
如何使用MotionCtrl+SVD？
其实官方已经给出了教程，如果网络条件许可，大家可以去查看官方教程。
教程地址：https://github.com/TencentARC/MotionCtrl/blob/svd/doc/tutorial.md
第一步. 挑选你的图片
- 上传图片，可通过拖拽或点击“上传图片”;
- 点击
Center Crop To 576x1024（裁剪至576x1024）或Keep original spatial ratio（保持原始宽高比）来选择图片缩放模式。您将得到一张处理过的图片，并进入下一步。
Center Crop To 576x1024（裁剪至576x1024）: MotionCtrl是在尺寸为576x1024的图片上进行训练的。选择“中心裁剪至576x1024”可以获得更优质的生成视频。Keep original spatial ratio（保持原始宽高比）: 如果您希望生成与输入图片相同宽高比的视频，请选择“保持原始宽高比”。
第 二 步：自定义运动轨迹
- 基础运动轨迹：包括8种基本运动轨迹，如向上平移、向下平移、放大和缩小。
- 提供复杂的运动轨迹：从真实视频中提取的复杂运动轨迹。
- 自定义运动轨迹：您可以通过组合或融合八种基本运动轨迹中的任意两种或输入原始RT矩阵来自定义复杂运动轨迹。
点击 Proceed进入下一步
基础运动轨迹
复杂的运动轨迹
自定义运动轨迹
在该模式下提供了3个子模式。
- Customized Mode 1: First A then B（定制模式一：先A后B）
- Customized Mode 2: Both A and B（定制模式2：A、B皆可）
- Customized Mode 3: RAW Camera Poses（自定义模式3：RAW相机姿势）
定制模式一：先A后B
-
基于 8 个基本相机姿势，您可以拾取基本姿势 A 和基本姿势 B。然后您可以获得首先作为姿势 A，然后作为姿势 B 的相机运动。
-
例如，如果选择
Pan Left作为姿势A，Zoom In作为姿势B，您将首先看到相机向左平移，然后看到相机放大。
定制模式2：A、B两者
-
基于 8 个基本相机姿势，您可以拾取基本姿势 A 和基本姿势 B。然后您可以获得语义上作为姿势 A 和姿势 B 的相机运动。
-
例如，如果选择
Pan Left作为姿势 A，选择Zoom In作为姿势 B，您将看到相机以左平移和放大的组合移动（类似于矢量相加）。
自定义模式3：RAW相机姿势
第三步：生成视频
调整 fps 、 num 、 seed ，然后单击 Start generation 生成视频
目前也已经有开发者将MotionCtrl迁移到 ComfyUI，大家可以在本地的 ComfyUI上使用MotionCtrl。