modelscope/ms-swift

项目概览

覆盖 600+ LLM 和 400+ MLLM 的全生命周期框架，对主流架构提供 Day-0 支持，并内置 GRPO 家族等多种强化学习算法，适合需要在单一工具链中完成训练到部署全流程的团队。

项目类型

AI Agent · 模型开发 · 模型运行 · 评测观测 · 基础设施

部署方式

查看项目说明

License

Apache-2.0

适合谁

• 需要对大量开源文本或多模态模型进行微调、评估、量化和部署的 AI 工程师和研究人员。

核心能力

• 支持大语言模型与多模态大语言模型的全参数微调和轻量级微调（如 LoRA、QLoRA）。
• 内置 GRPO、DAPO、GSPO、SAPO、CISPO、CHORD、RLOO 和 Reinforce++ 算法。
• 支持 Transformers、vLLM、SGLang 和 LMDeploy 推理加速引擎。
• 使用 EvalScope 作为评估后端，支持 100+ 评估数据集。
• 支持 AWQ、GPTQ、FP8 和 BNB 格式的量化导出。
• 提供基于 Gradio 的 Web-UI，可用于训练、推理、评估和量化操作。
• 使用 TP、PP、CP、EP 等 Megatron 并行技术，用于加速大规模集群和 MoE 模型训练。

限制与风险

• 硬件需求因模型大小和训练方法而异，范围从 9GB VRAM 到需要多张 A100。

如何开始

• 安装需 Python 3.10+、PyTorch 及 CUDA 或兼容硬件。使用 pip install ms-swift -U 安装后，可通过 swift sft 命令运行训练，通过 swift infer 命令运行推理。CLI 提供简化的训练命令，Web-UI 为非技术用户提供零门槛接口。

核验依据

• GitHub 项目简介: Use PEFT or Full-parameter to CPT/SFT/DPO/GRPO 600+ LLMs (Qwen3.6, DeepSeek-V4, GLM-5.1, InternLM3, Llama4, ...) and 300+ MLLMs (Qwen3-VL, Qwen3-Omni, InternVL3.5, Ovis2.5, GLM4.5…
• Release: Patch release v4.4.2
• README: 🍲 ms-swift is a large model and multimodal large model fine-tuning and deployment framework provided by the ModelScope community. It now supports training (pre-training, fine-tuni…
• README: The ms-swift paper has been accepted by AAAI 2025. You can find the paper at this link
• README: swift sft \ --model Qwen/Qwen3-4B-Instruct-2507 \ --tuner_type lora \ --dataset 'AI-ModelScope/alpaca-gpt4-data-zh#500'

内容核验时间：