Lightricks/LTX-2

项目概览

它是首个提供开放访问的基于 DiT 的音视频基础模型，实现了高保真视频与同步音频的联合生成，同时配套了完整的 LoRA 与微调训练工具。

项目类型

模型运行 · 视频技术 · 语音音频

应用场景

视频制作

部署方式

查看项目说明

License

License 待确认

适合谁

• 需要将高保真、同步音视频生成能力集成到自有产品或内容生产流程中的开发团队。
• 希望本地或自托管运行模型，并能够自行处理模型下载、命令行操作和推理优化的 AI 工程团队。
• 不仅需要调用基础模型，还计划使用 LoRA、完整微调或 IC-LoRA 建立定制训练流程的团队。

核心能力

• 提供 LoRA、完整微调和 IC-LoRA 的训练与微调工具，用于在基础模型之上进行定制。其价值是让团队能够围绕特定素材、风格或任务继续训练，而不仅限于调用预训练模型；该能力当前可用。
• 推理管线可通过提示词增强参数自动扩展输入提示，帮助用户减少手工润色提示词的工作，并为生成阶段提供更充分的文本描述；该能力当前可用。

限制与风险

• 模型推理可能因 GPU 显存不足而受限，需要采用 FP8 量化或 CPU、磁盘卸载。选型时不能只确认能否启动，还应验证目标输出条件下的资源占用与执行表现。
• 要获得更好的运行性能，通常需要专用 GPU，并可能需要手动安装 FlashAttention 等注意力优化组件，这会增加环境兼容、部署维护和故障排查成本。

如何开始

• 首次运行路径包括克隆仓库、使用 Hugging Face 命令行工具下载模型、通过令牌完成身份认证，并准备 LTX-2.3 模型和 Gemma 3 12b 文本编码器。
• 模型与认证准备完成后，可先运行项目给出的蒸馏管线命令，以视频文件输出作为首次成功标准；整体上手难度为中等，主要成本来自模型下载、认证和特定命令行步骤。

核验依据

• GitHub 项目简介: Official Python inference and LoRA trainer package for the LTX-2 audio–video generative model.
• README: LTX-2 is the first DiT-based audio-video foundation model that contains all core capabilities of modern video generation in one model: synchronized audio and video, high fidelity,…
• README: hf download Lightricks/LTX-2.3 \ ltx-2.3-22b-distilled-1.1.safetensors ltx-2.3-spatial-upscaler-x2-1.1.safetensors --local-dir models/ltx-2.3 hf download google/gemma-3-12b-it-qat…
• README: uv run python -m ltx_pipelines.distilled
• README: In cases of GPU memory constraints, consider `--quantization fp8-cast --offload {cpu, disk}`.

内容核验时间：