腾讯开源视频运动控制器MotionCtrl,可有效控制AI视频中人物运动轨迹

之前给大家介绍过《 腾讯开源视频运动控制器 MotionCtrl》,这是一个可以用于控制 AI 生成视频中物体的运动路径的控制器,近期官方又上架了 MotionCtrl+SVD,让大家可以控制 SVD 生成视频时的镜头移动,支持多种模式组合,不过目前实现的效果只是移动镜头。今天就一起来看看如何使用吧!

GitHub 地址:https://github.com/TencentARC/MotionCtrl

MotionCtrl+VideoCrafter 的 Demo 地址:https://huggingface.co/spaces/TencentARC/MotionCtrl

MotionCtrl+SVD 的 Demo 地址:https://huggingface.co/spaces/TencentARC/MotionCtrl_SVD

《腾讯开源视频运动控制器MotionCtrl,可有效控制AI视频中人物运动轨迹》- 投稿作者:游戏TOP10 - 发布于:GetAI社区

如何使用 MotionCtrl+SVD?

其实官方已经给出了教程,如果网络条件许可,大家可以去查看官方教程。

教程地址:https://github.com/TencentARC/MotionCtrl/blob/svd/doc/tutorial.md

第一步. 挑选你的图片

  1. 上传图片,可通过拖拽或点击“上传图片”;
  2. 点击 Center Crop To 576x1024(裁剪至 576x1024) 或 Keep original spatial ratio(保持原始宽高比) 来选择图片缩放模式。您将得到一张处理过的图片,并进入下一步。
  • Center Crop To 576x1024(裁剪至 576x1024): MotionCtrl 是在尺寸为 576×1024 的图片上进行训练的。选择“中心裁剪至 576×1024”可以获得更优质的生成视频。
  • Keep original spatial ratio(保持原始宽高比): 如果您希望生成与输入图片相同宽高比的视频,请选择“保持原始宽高比”。

《腾讯开源视频运动控制器MotionCtrl,可有效控制AI视频中人物运动轨迹》- 投稿作者:游戏TOP10 - 发布于:GetAI社区

第 二 步:自定义运动轨迹

  • 基础运动轨迹:包括 8 种基本运动轨迹,如向上平移、向下平移、放大和缩小。
  • 提供复杂的运动轨迹:从真实视频中提取的复杂运动轨迹。
  • 自定义运动轨迹:您可以通过组合或融合八种基本运动轨迹中的任意两种或输入原始 RT 矩阵来自定义复杂运动轨迹。

点击 Proceed 进入下一步

《腾讯开源视频运动控制器MotionCtrl,可有效控制AI视频中人物运动轨迹》- 投稿作者:游戏TOP10 - 发布于:GetAI社区

基础运动轨迹

《腾讯开源视频运动控制器MotionCtrl,可有效控制AI视频中人物运动轨迹》- 投稿作者:游戏TOP10 - 发布于:GetAI社区

复杂的运动轨迹

《腾讯开源视频运动控制器MotionCtrl,可有效控制AI视频中人物运动轨迹》- 投稿作者:游戏TOP10 - 发布于:GetAI社区

自定义运动轨迹

在该模式下提供了 3 个子模式。

  • Customized Mode 1: First A then B( 定制模式一:先 A 后 B
  • Customized Mode 2: Both A and B( 定制模式 2:A、B 皆可 
  • Customized Mode 3: RAW Camera Poses( 自定义模式 3:RAW 相机姿势 

定制模式一:先 A 后 B

  • 基于 8 个基本相机姿势,您可以拾取基本姿势 A 和基本姿势 B。然后您可以获得首先作为姿势 A,然后作为姿势 B 的相机运动。

  • 例如,如果选择 Pan Left 作为姿势 A,Zoom In 作为姿势 B,您将首先看到相机向左平移,然后看到相机放大。

《腾讯开源视频运动控制器MotionCtrl,可有效控制AI视频中人物运动轨迹》- 投稿作者:游戏TOP10 - 发布于:GetAI社区

定制模式 2:A、B 两者

  • 基于 8 个基本相机姿势,您可以拾取基本姿势 A 和基本姿势 B。然后您可以获得语义上作为姿势 A 和姿势 B 的相机运动。

  • 例如,如果选择 Pan Left 作为姿势 A,选择 Zoom In 作为姿势 B,您将看到相机以左平移和放大的组合移动(类似于矢量相加)。

《腾讯开源视频运动控制器MotionCtrl,可有效控制AI视频中人物运动轨迹》- 投稿作者:游戏TOP10 - 发布于:GetAI社区

 自定义模式 3:RAW 相机姿势

《腾讯开源视频运动控制器MotionCtrl,可有效控制AI视频中人物运动轨迹》- 投稿作者:游戏TOP10 - 发布于:GetAI社区

第三步:生成视频

调整 fpsnumseed,然后单击 Start generation 生成视频

《腾讯开源视频运动控制器MotionCtrl,可有效控制AI视频中人物运动轨迹》- 投稿作者:游戏TOP10 - 发布于:GetAI社区

效果:

《腾讯开源视频运动控制器MotionCtrl,可有效控制AI视频中人物运动轨迹》- 投稿作者:游戏TOP10 - 发布于:GetAI社区

目前也已经有开发者将 MotionCtrl 迁移到 ComfyUI,大家可以在本地的 ComfyUI 上使用 MotionCtrl。

GitHub 地址:https://github.com/chaojie/ComfyUI-MotionCtrl-SVD

0

评论0

请先
显示验证码