（需要先下载好ComfyUI，建议看一下之前的SVD文章）
什么！还有高手？（AI绘画：ComfyUI的基本安装和使用）
其实在之前的Stable Diffusion学习中就有了解过关于AI的视频生成工具，像是Runway Gen2、Pika等，而这些工具在好用的同时需要花钱。
一个月的订阅费动辄好几十美金，我这种连冲个游戏月卡都扣扣嗖嗖的人让我买这个岂不是要了我的命。
而我们的老朋友，Stable Diffusion的开发公司在去年推出了Stable Video Diffusion（简称SVD），一个免费且高效好用的AI视频生成工具进入了大众的视野。
和上述的其他工具一样，SVD可以帮助用户从一张静态的图片或者一段提示词去变成一系列丝滑、流畅且富有风格特色的视频分镜。
无论是动画、视频素材甚至是现在爆火短视频平台的小短剧都可以通过SVD生成出来。
那就让我们废话少说开始今天的学习吧！
SVD的下载与安装
在我之前就有一篇文章简单学习了点SVD，不过在这里就当做是重新开始学习一次。
下载SVD也很简单，去到Hugging Face的官网：
https://huggingface.co/collections/stabilityai/video-65f87e5fc8f264ce4dae9bfa
这里面可以看到有两个红框里的模型，这两个模型是用于区别模型参数。不带”xt”尾缀的是原版在14帧视频上训练的，加了”xt”的版本则是有额外在25帧的视频上进行过微调的，这里推荐下载最新的xt-1-1版本模型。
在验证完邮件之后选择下图中的红框模型进行下载。
这个模型在下载好后放在ComfyUI的CheckPoint模型文件夹中：
如果没有下载ComfyUI的话可以看看我之前写的这篇文章：
什么！还有高手？（AI绘画：ComfyUI的基本安装和使用）
在安装完毕之后就可以点击这里的run_nividia_gpu运行ComfyUI了
当然这个SVD功能在Stable Diffusion中也有，ControlNet的开发者把这玩意儿塞进了Stable Diffusion里：
https://github.com/lllyasviel/stable-diffusion-webui-forge
而无论是通过ComfyUI还是通过WebUI，运行SVD模型时都是对GPU的性能有一定的要求的。
根据原视频UP的测试得出，绘制14帧视频的显存需求大约在12GB左右，绘制25帧则需要更高。虽说显存低也可以运行，但是要做好爆显存或者降速的准备。
而且在视频生成的过程中会用到其他的辅助手段来让最终成果更符合我们的预期，那么这个过程中会需要到额外的显存，目前来看如果有16GB的显存就可以无压力使用SVD这类视频生成模型。
当然大伙也可以先尝试一下看看效果怎么样，不行的话我再推荐一个线上的。
SVD的使用
由于视频教学选用的是ComfyUI，这里的笔记也就用ComfyUI来进行学习了。
在clear掉默认的工作流之后，将文末下载链接中的SVD图生视频工作流直接拖动到comfyUI界面中。
首先在最左上角的CheckPoint部分加载我们在上面下载好的SVD模型：
然后在下方的图像加载器中放入想要让它动起来的图片：
要注意：这张图片的初始尺寸最好和最终生成的视频尺寸保持一致。
尺寸的调节自然是在右手边的这个img2vid_Conditioning：
像是视频的高度、宽度、帧数、帧率等选项都可以在这里调节，视频尺寸一般推荐默认的1024*576（16:9）SVD就是基于这个尺寸的视频上训练的。
视频的帧数决定了视频的总长度，同样会根据所选用的SVD模型而异，原版是14帧, XT版本是25帧。
我这里就把Video_frames从14改为15，其他的先默认不变。
而右手边的Ksample则看着很眼熟，如果不知道是什么的可以先维持默认不变。
接下来就是点击右侧工具栏中最上方的：添加提示词队列Queue Prompt
这里会经历一段时间的等待，我这里预估是2-3分钟左右，然后在最右侧就会生成一段根据放置的图片而生成的视频。
这段视频也可以在ComfyUI的output文件夹中找到，也可以鼠标右键点击保存下来。
当然这只是最基本的操作流程，按照这个默认参数运行图片可以动起来但是最终的效果感觉怪怪的，而更详细的进阶参数我就放到下篇文章去讲解啦！
现在公众号有了新的文章留言回复功能，如果大家有遇到什么问题欢迎留言或私信。
大伙下篇笔记见，拜了个拜！
Best quality, masterpiece, ultra high res, (photorealistic:1.4),
smile,a girl<lyco:xiaofu:0.7>(((lovely))),((Black hair, twin ponytails, sitting on a small stool))
Negative prompt: (easynegative:1.0),(bad-hands-5:1.0),(realisticvision-negative-embedding:1.0),paintings, sketches, (worst quality:2), EasyNegative, ng_deepnegative_v1_75t,
- Steps: 40
- Sampler: DPM++ 2M SDE Exponential
- CFG scale: 7
- Seed: 1783010975
- Size: 512×512
- Model hash: 7c819b6d13
- Model: majicmixRealistic_v7
- Denoising strength: 0.6
- Clip skip: 2
- Hires upscale: 2
- Hires upscaler: R-ESRGAN 4x+
- Lyco hashes: “xiaofu: b1011cfa133e”
- Version: v1.8.0
问题汇总：
在有些小伙伴安装好ComfyUI之后将工作流程拖到界面时可能会遇到这样一个提示：
ComfyUI web interface:
“When loading the graph, the following node types were not found:
VHS_VideoCombine
Nodes that have failed to load will show as red on the graph.”
而这里要解决也很简单，只需要跟随着我的步骤：首先要关闭整个ComfyUI，然后找到ComfyUI的根目录：
也就是有着启动选项的这个地方，在这里将上方的路径双击后输入CMD。
就会有着这么个界面出现：
在这里面分别输入两行代码，先输入这一行：
python_embeded\python.exe -m pip uninstall -y opencv-python opencv-contrib-python opencv-python-headless
然后按回车，在运行完毕后再输入第二行：
python_embeded\python.exe -m pip install opencv-python==4.7.0.72
之后按回车，等待一小会后就能看到这样的界面：
然后重启ComfyUI问题就解决了！
评论0