比起之前所学习和讲到过的Runway、Pika之类的AI视频生成工具，Sora所呈现出来的效果是真的远远超出人们的预期。Sora生成的视频无论是体流畅度、动作的幅度还是多镜头展示已经惊艳到让人们产生恐慌的程度。像是讨论度最高的AI替代人类，还是以后诈骗更加难防的评论，无不在提醒屏幕前的人们：潘多拉的魔盒已经打开了，Sora的出现就象征着AI视频的时代已经到来。
当然Sora不是本篇话题，毕竟我已经写过一篇文章了不能再水一篇。除了Sora、Runway Gen2这种AI工具以外，我之前还提到过一个工具-AnimateDiff。
AnimateDiff其实已经出现过一段时间了，并且直至今日还在不断地迭代升级中，AnimateDiff就是我们今天的主角。
AnimateDiff
AnimateDiff是一个由香港中文大学、斯坦福大学和上海人工智能实验室的研究人员们共同开发出来的“文本到动画”扩散模型
https://arxiv.org/abs/2307.04725
https://github.com/guoyww/AnimateDiff
其实在之前的笔记中都有提到过制作“AI动画”的基础思路，像是Mov2Mov、TemporalKit、EbSynth这类工具的本质都是将连贯的视频拆分成一个个帧，然后将这些帧数进行重绘最后拼合在一起变成一个“动画”。
（Stable Diffusion进阶篇:AI动画-Mov2Move）
AI界的“抖音滤镜”（Stable Diffusion进阶篇-TemporalKit视频风格转化）
让AI也能偷个懒（Stable Diffusion进阶篇：AI动画-EbSynth插件）
在看过上述三篇笔记的同学们肯定还记得，当初的AI动画本质上是将一个视频进行重绘。不过这种逐帧转绘的动态内容生成方式其实是有缺陷的，像是画面闪烁严重、耗时较长等。
AnimateDiff是有着针对性的效果，让AI学习不同类别视频“运动”的方式从而训练出了一个运动模块Motion Module。AI就可以把一系列运动的帧一次性画出来，所生成的内容就会更加流畅自然。
还有一点，这个模块独立于基础模型，所以AnimateDiff可以附加到任意一个大模型上，只要你库存有的CheckPoint都可以用来做视频。
其实在最早的时候AnimateDiff只能在原生代码进行使用，但是后来有许多大佬们开发出了不同的载体例如ComfyUI的功能节点和工作流以及WebUI上的扩展插件。
WebUI:https://github.com/continue-revolution/sd-webui-animatediff
ComfyUI:https://github.com/Kosinkadink/ComfyUI-AnimateDiff-Evolved
不过这篇文章将会用WebUI来作为学习平台，毕竟WebUI更多人熟悉一些。
目前来说WebUI中的AnimateDiff能做的基本功能有文生视频、图生视频、视频转绘这三大类。
当然这个AnimateDiff也是有门槛的，以16帧512*512为例子开启优化效果的话的话大约需要最低显存5GB，如果能有8GB的话更好，12GB则是能满足所有要求。
N卡用户的话开启xFormers后能显著优化显存占用，当然后面也会讲对于设备难以满足最高要求的小伙伴们可以调节什么参数进行优化。
AnimateDiff的安装与基本操作
在安装AnimateDiff前需要先安装好两个扩展，一个是ControlNet，这个我们之前的文章中就有安装过，没有的小伙伴可以看这篇文章进行下载安装：
摆出一样的姿势还不简单啊？（AI-Stable Diffusion篇-10：ControlNet）
另一个东西叫做Deforum，需要这个东西是因为AnimateDiff的扩展开发者写了一个调用这个东西来“插帧”的功能。
https://github.com/deforum-art/sd-webui-deforum
与此同时AnimateDiff的运作需要一系列运动模块和功能性Lora，最核心的运动模块至少需要下载一个，这里可以去Huggingface地址下载：
https://huggingface.co/guoyww/animatediff/tree/main
我选择下载的是目前我写这篇文章的时候最新的v3_sd15mm.ckpt这个文件，在下载完成之后放在扩展文件夹中的Models里方面后续使用。
WebUI根目录\extensions\sd-webui-animatediff\model
在完成上述步骤之后重启一下WebUI，因为接下来还需要在设置中进行一些优化改动：
在WebUI设置-左下方找到AnimateDiff（未分类里）-确保红框中的选项是勾选上的。
WebUI设置-优化设置-勾选上补齐提示词到相同长度
记得保存设置！
AnimateDiff基本操作
在完成了上述的准备工作之后就可以尝试一下简单的操作了，进入到WebUI的文生图界面后可以看到拉到最下方有一个AnimateDiff选项。
接下来先不急着动画，先用文生图随意绘制一个喜欢的二次元图片出来：
简单调节一下参数后要注意正负提示词最好都不要超过75个字，不然的话可能一会做动画会导致前后不一致。
在得到了想要的图片后可以先保存下来，之后的图生动画可以用得上。不过要注意的是现在文生图的这张图片仅做参考，没法保证一会动画出来的和这个一模一样。
接下来就打开AnimateDiff选择启用，如果模型列表里面没有东西的话记得点击右侧的刷新按钮刷新一下列表。
如果生成一个2秒的视频，那么总帧数改为16帧、并且把保存格式里面的PNG取消勾选，这样一来后续可以快速预览效果（与上图一致即可）
这个不勾选PNG是怕后面每一帧生成都会保存一份，既占空间还磨蹭。
在以上参数都完成设置之后点击生成，等待一小会之后会在右侧看到这样的画面。
这里因为设置总帧数是16帧，所以SD会绘制16张图片，然后将其拼合在一起，一共消耗的时间就是差不多设备绘制16张图片的时间。
然后就可以得到这样的画面啦！
是不是超极简单！
今天的课程就到这里结束啦~
主要是AnimateDiff这个东西我记得很早之前我就想学习，是Sora的出现让我重新回忆起这个东西，加上我学习的那个Up最新的视频也是讲AnimateDiff的，索性就回归一下本心学习一下。
毕竟之前的催婚我爸妈还问这姑娘有没有视频啥的呢。
其他的进阶参数和更多的东西就放到下一篇笔记中去讲啦，大伙下篇笔记见，拜了个拜！
我要去做饭了，好饿。
除了模型其他参数与封面图一致
masterpiece, best quality, lucy \(cyberpunk\),, bob cut, short hair, asymmetrical hair, multicolored hair, 1girl, solo, pale skin, red lips, detached sleeves, beautiful eyes, upper body, outdoors, looking at viewer, beautiful and aesthetic, official art, professional illustration, hires, amazing, absurdres <lora:lucy_offset:1>
Negative prompt: easynegative, (badhandv4:1.1), ng_deepnegative_v1_75t, bad_prompt, negative_hand, (worst quality:2), (normal quality:2), (low quality:2), low res, blurry, text, watermark, logo, banner, extra digits, cropped, jpeg artifacts, signature, username, error, sketch ,duplicate, ugly, monochrome, horror, geometry, mutation, disgusting, bad anatomy
- Steps: 30
- Sampler: Euler a
- CFG scale: 7
- Seed: 2395446911
- Size: 512×512
- Model hash: e4a30e4607
- Model: majicmixRealistic_v6
- Denoising strength: 0.7
- Clip skip: 2
- ENSD: 31337
- Hires upscale: 2
- Hires upscaler: R-ESRGAN 4x+ Anime6B
- Lora hashes: “lucy_offset: f7a664103d28”
- TI hashes: “EasyNegative: c74b4e810b03
- EasyNegative: c74b4e810b03″
- Pad conds: True
- Version: v1.7.0
文章部分参考素材来源：
原视频教程：
https://www.bilibili.com/video/BV1zS421A7PG/?spm_id_from=333.999.0.0&vd_source=f18a24315a35799d8d1912ad50652d90
Github 官方AnimateDiff链接：
https://github.com/guoyww/AnimateDiff?tab=readme-ov-file
AnimateDiff论文链接：
https://arxiv.org/abs/2307.04725
https://animatediff.github.io/
Github Deforum插件：
https://github.com/deforum-art/sd-webui-deforum
Github WebUI AnimateDiff插件:
https://github.com/continue-revolution/sd-webui-animatediff
Hugging face官方运动模块下载：
https://huggingface.co/guoyww/animatediff/tree/main
评论0