之前给大家介绍过《 腾讯开源视频运动控制器 MotionCtrl》，这是一个可以用于控制 AI 生成视频中物体的运动路径的控制器，近期官方又上架了 MotionCtrl+SVD，让大家可以控制 SVD 生成视频时的镜头移动，支持多种模式组合，不过目前实现的效果只是移动镜头。今天就一起来看看如何使用吧！
GitHub 地址：https://github.com/TencentARC/MotionCtrl
MotionCtrl+VideoCrafter 的 Demo 地址：https://huggingface.co/spaces/TencentARC/MotionCtrl
MotionCtrl+SVD 的 Demo 地址：https://huggingface.co/spaces/TencentARC/MotionCtrl_SVD
如何使用 MotionCtrl+SVD？
其实官方已经给出了教程，如果网络条件许可，大家可以去查看官方教程。
教程地址：https://github.com/TencentARC/MotionCtrl/blob/svd/doc/tutorial.md
第一步. 挑选你的图片
- 上传图片，可通过拖拽或点击“上传图片”;
- 点击
Center Crop To 576x1024（裁剪至 576x1024）或Keep original spatial ratio（保持原始宽高比）来选择图片缩放模式。您将得到一张处理过的图片，并进入下一步。
Center Crop To 576x1024（裁剪至 576x1024）: MotionCtrl 是在尺寸为 576×1024 的图片上进行训练的。选择“中心裁剪至 576×1024”可以获得更优质的生成视频。Keep original spatial ratio（保持原始宽高比）: 如果您希望生成与输入图片相同宽高比的视频，请选择“保持原始宽高比”。
第 二 步：自定义运动轨迹
- 基础运动轨迹：包括 8 种基本运动轨迹，如向上平移、向下平移、放大和缩小。
- 提供复杂的运动轨迹：从真实视频中提取的复杂运动轨迹。
- 自定义运动轨迹：您可以通过组合或融合八种基本运动轨迹中的任意两种或输入原始 RT 矩阵来自定义复杂运动轨迹。
点击 Proceed 进入下一步
基础运动轨迹
复杂的运动轨迹
自定义运动轨迹
在该模式下提供了 3 个子模式。
- Customized Mode 1: First A then B（ 定制模式一：先 A 后 B ）
- Customized Mode 2: Both A and B（ 定制模式 2：A、B 皆可 ）
- Customized Mode 3: RAW Camera Poses（ 自定义模式 3：RAW 相机姿势 ）
定制模式一：先 A 后 B
-
基于 8 个基本相机姿势，您可以拾取基本姿势 A 和基本姿势 B。然后您可以获得首先作为姿势 A，然后作为姿势 B 的相机运动。
-
例如，如果选择
Pan Left作为姿势 A，Zoom In作为姿势 B，您将首先看到相机向左平移，然后看到相机放大。
定制模式 2：A、B 两者
-
基于 8 个基本相机姿势，您可以拾取基本姿势 A 和基本姿势 B。然后您可以获得语义上作为姿势 A 和姿势 B 的相机运动。
-
例如，如果选择
Pan Left作为姿势 A，选择Zoom In作为姿势 B，您将看到相机以左平移和放大的组合移动（类似于矢量相加）。
自定义模式 3：RAW 相机姿势
第三步：生成视频
调整 fps、num、seed，然后单击 Start generation 生成视频
效果：
目前也已经有开发者将 MotionCtrl 迁移到 ComfyUI，大家可以在本地的 ComfyUI 上使用 MotionCtrl。
GitHub 地址：https://github.com/chaojie/ComfyUI-MotionCtrl-SVD
评论0