本文给大家分享一个改造过的 Animatediff 模型，使用它生成视频的速度相比原始模型可以提升10倍以上，这就是字节跳动最近开源的 Animatediff-Lightning，本文就来介绍下 Animatediff-Lightning 的原理和使用方法。
演示效果
下面三个视频，分别是精细视频转绘、姿态视频转绘和文本生成视频的生成效果，整个视频的前后一致性控制的相当不错，普通浏览不会发现什么明显问题。
Animatediff-Lightning介绍
Animatediff-Lightning 是一个跨模型扩散蒸馏模型，这里有两个关键词，特别介绍下；
跨模型：指的是训练时使用多个不同的 Stable Diffusion 基础模型来进行训练，比如 DreamShaper、ToonYou等现实模型和动漫模型。使用这种方法训练出的模型可以搭配各种 Stable Diffusion 基础模型，都有比较好的视频生成效果，可以说拥有较强的泛化能力。
蒸馏： 是神经网络模型压缩的一种方法，压缩后模型的体积更小，处理速度更快，但是模型的性能没有明显的损失，目前很多生成效率比较高的模型都是使用这种方法搞出来的，比如GPT-4 Turbo。在训练 Animatediff-Lightning 模型时，原始模型是 AnimateDiff v2 模型，训练时新模型不断学习 AnimateDiff v2 生成视频时的输出信息，从而逐步掌握到原始模型的大部分知识和能力。
在使用 Animatediff-Lightning 生成视频时，仅需要较少的步数即可完成图像采样，官方分别提供了 1、2、4、8步的Lightning模型，实测：1步效果不佳，仅作为测试和研究使用；2、4、8步质量较好，4步在速度和质量间找到了平衡，建议使用，8步质量最好，但是生成耗时较长。
另外文生视频时，Animatediff-Lightning 生成正方形视频的效果最好，长方形视频容易出现崩坏的情况，使用时需要注意。
关于 Animatediff-Lightning 的更多细节，请访问其研究论文：arxiv.org/abs/2403.12…
模型下载地址请前往文末。
使用Animatediff-Lightning
这里介绍下使用 Animatediff-Lightning 快速生成视频的三个小例子，希望能对你有所启发。
安装ComfyUI
视频生成工具使用的是 ComfyUI，这是一个工业级的AI绘画创作工具。
项目地址：github.com/comfyanonym…
本地安装
请参考 Github 项目主页的介绍，也可以搜索其他人的安装教程。本文主要介绍 Animatediff-Lightning，ComfyUI的安装过程就不介绍了，后续看大家的需求再决定是否出一篇本地安装说明。
云环境使用
本文演示使用的 ComfyUI 是我分享在 AutoDL 云平台上的一个容器镜像：yinghuoai-ComfyUI ，如果你本地没有8G以上的Nivida显卡，建议试试云环境。
创建容器实例时，选择“社区镜像”，输入：yinghuoai-ComfyUI，点击选择弹出的镜像即可。
实例启动成功后，在AutoDL的实例列表中点击对应实例的【JupyterLab】进入实例管理页面。在【启动器】页面点击下图中的这个【重启】按钮。
首次启动会下载一些模型，请耐心等待，后边再启动这个实例就快了。出现 “http://127.0.0.1” 字样后，代表启动成功。
最后返回 AutoDL 实例列表，点击对应实例的【自定义服务】，即可在浏览器访问 ComfyUI。
使用ComfyUI
ComfyUI 和 Stable Diffusion WebUI 的使用方式差别很大，它是基于工作流的思想构建的，生成图片的过程被构建为多个节点的连续处理过程，不过也不用担心上手困难，我们可以直接使用别人发布的工作流，完美复刻别人的作品，也不用自己从头开始设计工作流。
这里简单介绍下在 ComfyUI 中使用 Animatediff-Lightning 生成视频的方法。
加载工作流
在 ComfyUI 的使用界面找到下图这个“管理菜单”（一般在页面的右侧），其中有一个【加载】按钮，直接点击【加载】按钮会让我们从本地选择工作流文件或者包含工作流的图片，【加载】按钮右侧有个下拉小按钮，点击可以使用我内置的一些工作流，如下图所示：
工作流中的节点很多，全部讲清楚比价困难，这里主要介绍下其中几个通用的可以自定义的地方，方便大家生成满足自己需求的视频。
基础模型和提示词
首先是关于SD基础模型的选择，正向提示词和反向提示词的填写。SD基础模型通过这个【Checkpoint加载器】进行选择，正向提示词和反向提示词使用的都是【CLIP文本编码器】，它们会连接到采样器的不同输入参数上。在使用Animatediff-Lightning模型时，反向提示词不用写太多。
加载视频
如果你做视频重绘，需要通过【加载视频】这个节点来选择一个要被重绘的视频。这里有几个参数重点介绍下：
- 这里是从ComfyUI的目录下选择视频，你可以把视频先放到这个目录下：ComfyUI/input
- 原始视频有一个帧率，你可以强制缩小下，让视频生成的更快。比如原来是30，你修改为15，处理的视频画面就少了一半，速度自然提上去了。
- custom_height: 这里是强制更改视频的高度为1080，宽度会自适应，如果你想放大或缩小视频，这很有用。
- 可以在这里直接上传本地的视频。
Animatediff模型设置
上边介绍的两个部分都比较基础，Animatediff模型是本文的重点。
我们首先通过【AnimateDiff加载器】加载Lightning模型，模型需要放到ComfyUI的这个目录下：ComfyUI/models/animatediff_models
然后就可以在这里选择到，注意【K采样器】中的【步数】要和模型的步数匹配，比如这里我选择的模型是 4step 的，步数这里就需要设置为4。
为了生成更长时间的视频，以及保持视频中任务的一致性，我们还需要设置下 Animatediff 的上下文和采样设置。【上下文长度】使用默认的16就好了，Animatediff训练时使用的就是16。采样设置中的【噪波类型】选择 FreeNoise，这会让视频中的人物尽量保持一致，人物的形象和姿势会更趋于一致。
合成视频
合成视频是工作流的最后一步，这里有几个参数也很关键，给大家唠叨一下：
- 格式：可以输出为图片格式，比如Gif动画，也可以输出为正常的 mp4 视频格式。
- save_meradata：会生成一张png图片，可以通过在ComfyUI中加载这张图片来获取生成视频的工作流。
- 保存到输出文件夹：一般都要选上，方便后续下载。默认是：ComfyUI/output，可以通过启动命令修改，我在 AutoDL 上的镜像已经修改为 autodl-tmp/output。
- 文件名前缀：建议为不同的工作流使用不同的前缀，方便管理生成的视频。
OK，关键的操作就这么多，祝你生成顺利！
资源下载
ComfyUI工作流下载：
- 基本工作流：包括上图中的 “极速Animatediff-简单动画” 和 “极速Animatediff-时空穿梭” 两个工作流，还有 Animatediff-Lightning 模型和参考视频。
- 给公众号 yinghuo6ai 发消息: 极速生成视频，即可获取。
- 直接使用我分享的AutoDL镜像，已经内置这两个工作流，还有其它一些常用工作流。镜像使用方法见上文的“安装ComfyUI”部分。
- 高级工作流：包括 “精细视频重绘”和“姿态视频重绘”，画面稳定不闪烁（参考文章开头的效果展示），还有 Animatediff-Lightning 模型和参考视频。
- 整理不易，目前仅发布在我的AI绘画专栏，如有需要请点击链接进入：xiaobot.net/post/033402…
Animatediff-Lightning 模型下载地址：
- 官方：huggingface.co/ByteDance/A…
- 国内镜像：hf-mirror.com/ByteDance/A…
以上就是本文的主要内容，如有问题，欢迎留言。
