开源视频生成新标杆：美团LongCat Video全面解析与实战指南

今年涌现了大量新的视频模型，可以说2025年是视频建模真正主导公众对AI技术兴趣的第一年。随着Sora 2的普及，这一点变得越来越清晰。得益于OpenAI的一系列移动应用程序，获取视频生成工具的可能性与普及度达到了前所未有的高度。但闭源模型并非本文的重点，而这些模型的开源竞争实际上正变得比以往任何时候都更加令人印象深刻。

今年早些时候，HunyuanVideo和Wan2.1以其令人难以置信的保真度、相对低廉的成本和公开可用性震撼了开源世界。这种发展趋势仍在继续，Wan的新版本不断发布，其他竞争对手也纷纷入场。

在本文中，我们将介绍最新公开可用的视频模型：美团的LongCat Video。这个出色的视频模型是进入我们工具箱的最新、最棒的开源工具，我们很高兴在本教程中展示如何从今天开始，利用DigitalOcean生成你自己的视频。

请跟随我们，简要了解LongCat Video的工作原理，以及一个展示如何在配备NVIDIA GPU的DigitalOcean GPU Droplet上设置并开始运行LongCat Video的教程。

本文的核心要点

• LongCat Video是目前可用的、对标Sora 2的最佳开源竞争者。
• 用户可以使用DigitalOcean GPU Droplets，通过自己的提示词和硬件，生成质量可与Sora 2媲美的视频。
• 运行LongCat Video至少需要NVIDIA GPU系统上具备80GB的显存，但可以扩展到多GPU设置以加快生成速度。

LongCat Video：概述

LongCat Video的精妙之处在于其核心架构。这是因为他们非常巧妙地设计了一个单一管道来处理多项任务，包括文本到视频、图像到视频和视频延续。他们认为，所有这些任务都应被定义为视频延续，即模型根据给定的一组前置条件帧来预测未来的帧。

为了实现这一点，他们采用了相对标准的扩散变换器架构，并配有单流变换器块。“每个块包含一个3D自注意力层、一个用于文本条件的交叉注意力层，以及一个带有SwiGLU的前馈网络。为了进行调制，他们利用了AdaLN-Zero，其中每个块都包含一个专用的调制MLP。为了增强训练稳定性，在自注意力模块和交叉注意力模块中都应用了RMSNorm作为QKNorm。此外，还采用了3D RoPE作为视觉标记的位置编码。”这种统一的架构允许使用相同的模型设计来完成三种视频任务中的任何一种。

该模型在一个包含来自各种不同来源、视频类型和主题的大量标注视频语料库上进行了训练。我们可以在上图中看到训练数据中包含主题的大致聚类。对于这些数据，他们采用了强大的数据预处理和数据标注流程来进行文本标注。首先，收集并处理数据以确保没有重复项、裁剪黑边以及进行视频过渡分割。目前，他们没有详细讨论其数据来源。

LongCat Video的闪光点及其与竞争对手的不同之处在于其长视频生成能力和高效的推理策略。对于长视频生成，LongCat-Video原生地在视频延续任务上进行了预训练，使其能够生成长达数分钟的视频，而不会出现色彩漂移或质量下降。在实践中，这得益于训练策略的鲁棒性，其中对视频延伸的关注在训练结果中得以体现。至于高效的推理策略，我们指的是从粗到精的策略。在LongCat Video中，“视频首先生成为480p、15fps，随后精炼至720p、30fps。”（来源）此外，他们实现了一种新颖的块稀疏注意力机制，有效地将注意力计算量减少到标准密集注意力所需计算量的10%以下。这一设计显著提高了高分辨率精炼阶段的效率。最后，他们使用了一种新颖的组相对策略优化策略来进一步优化其流程。他们有效地采用了带有多个奖励的强化学习范式。

总而言之，美团LongCat Video是一个功能强大的视频生成和延续模型，作为一个工具，它既多功能又强大。他们认为其模型与最先进的竞争对手相比具有竞争力，我们希望通过本文展示如何在DigitalOcean的硬件上使用它。

LongCat Video演示：如何在DigitalOcean GPU Droplet上运行LongCat Video

1、设置Gradient GPU Droplet

要开始运行LongCat Video，我们建议从创建一个DigitalOcean Gradient GPU Droplet 云服务器开始。这些GPU Droplet配备了运行本教程所需的GPU资源。我们建议至少使用单卡 NVIDIA H200 GPU，但拥有8xH100或8xH200设置的用户将看到更快的视频生成效率。DigitalOcean的 GPU 资源不仅比AWS、GCP等大型云平台更加实惠，GPU Droplet的性能比Vast.ai等GPU租赁平台更加稳定，而且GPU可选型号比 Linode更加丰富。

要启动GPU Droplet并设置运行此演示的环境，我们建议使用本教程入门：https://blog.aidroplet.com/tutorials/do-gpu-jupyter-dl-setup/

可以从本地终端访问正在运行的GPU Droplet后，请继续跟着下一部分步骤来操作。

2、为LongCat Video设置远程环境

通过SSH连接到远程机器后，导航到你想要工作的目录。进入目录后，粘贴以下代码开始设置你的环境。

git clone https://github.com/meituan-longcat/LongCat-Video
cd LongCat-Video
pip install torch==2.6.0+cu124 torchvision==0.21.0+cu124 torchaudio==2.6.0 --index-url https://download.pytorch.org/whl/cu124
pip install ninja
pip install psutil
pip install packaging
pip install flash_attn==2.7.4.post1
pip install -r requirements.txt

完成上述步骤后，我们几乎可以准备开始了。现在要做的就是下载模型检查点！使用以下代码片段来完成：

pip install "huggingface_hub[cli]"
huggingface-cli download meituan-longcat/LongCat-Video --local-dir ./weights/LongCat-Video

3、使用Streamlit应用程序生成LongCat视频

对于演示，我们建议使用作者提供的Streamlit应用程序来运行视频生成。这个Streamlit演示使得在不同分辨率下生成视频、从静态图像生成视频以及延续视频长度变得简单。

设置完成后，我们就可以运行演示了。粘贴以下命令来运行演示。

streamlit run ./run_streamlit.py --server.fileWatcherType none --server.headless=false

复制Streamlit窗口的URL，然后使用Cursor或VS Code的简单浏览器功能从本地访问该窗口。设置VS Code环境的步骤在 卓普云aidroplet.com的官网教程中有所概述。卓普云是DigitalOcean 中国区独家战略合作伙伴，为中国区企业客户提供商务对接与中文技术支持。

上图显示了加载后的Streamlit演示界面。左侧有一个下拉菜单，我们可以在三个选项之间切换任务，启用蒸馏模式（将模型限制为16个推理步骤而非50个），启用超分辨率（从粗到精的上采样），以及设置生成参数。在窗口本身，我们有选项可以输入正面和负面提示词文本，并且在其他任务中，根据需要添加图像或视频。

当我们运行生成器时，视频输出会显示在右侧！一定要尝试各种不同的提示词主题，来真正测试这个模型！

美团LongCat Video是一个真正强大的视频生成范式。我们对其多功能性和能力都印象深刻。在测试中，它确实是Wan2.1和HunyuanVideo向前迈出的一步，并且与Wan2.2等最先进的模型不相上下。不仅如此，统一的框架使得这个流程比竞争对手更加令人印象深刻和多功能。我们期待未来围绕LongCat Video发展出一个生态系统。