unslothai/unsloth

项目概览

在本地资源受限的条件下，提供从数据制备到模型导出的端到端工具链，且兼容 GGUF 和 safetensors 等主流格式。

项目类型

模型开发 · 模型运行 · 评测观测

应用场景

语音音频

部署方式

查看项目说明

License

Apache-2.0

适合谁

• 希望在本地以较低显存和更快速度运行及训练模型的 AI 工程师或数据团队。

核心能力

• 支持搜索、下载并运行包括 GGUF、LoRA 适配器和 safetensors 在内的多种格式模型。
• 能够从 PDF、CSV、DOCX 等文件自动创建数据集，并允许用户在可视化节点工作流中编辑数据。
• 支持将处理后的模型保存或导出为 GGUF、16位 safetensors 及其他格式。
• 支持实时监控训练过程，跟踪损失和 GPU 使用情况，并可自定义图表。

限制与风险

• 服务端工具默认开启并以当前用户身份运行，任何能够通过 API 密钥访问服务器的用户都有可能执行代码。
• 目前 CPU 仅支持 Chat 和数据制备功能，NVIDIA 训练仅在 RTX 30/40/50、Blackwell、DGX Spark 等特定设备上工作。
• 核心包采用 Apache 2.0，而 Studio UI 采用 AGPL-3.0，使用或修改 Studio UI 需注意其开源协议要求。

如何开始

• 通过运行适用于 Windows、macOS、Linux 和 WSL 的自动化安装脚本即可完成安装，随后通过命令行启动 Web UI（如 unsloth studio -p 8888）并通过浏览器访问。

替代方案与同类比较

• 提供简单的 API 来微调、评估和运行开源 LLM，使用 LoRA 和低精度技术，可从 CPU 扩展到多 GPU。
• 提供一种简单的方式来本地运行和管理开源大语言模型，侧重于 CLI 和 REST API 交互。

同类比较

• unslothai/unsloth vs xTuring
• unslothai/unsloth vs Ollama

核验依据

• GitHub 项目简介: Unsloth Studio is a web UI for training and running open models like Gemma 4, Qwen3.6, DeepSeek, gpt-oss locally.
• README: Unsloth can be used in two ways: through **[Unsloth Studio](https://unsloth.ai/docs/new/studio/)**, the web UI, or through **Unsloth Core**, the code-based version.
• README: Unsloth Studio lets you run and train models locally.
• README: Train and RL **500+ models** up to **2x faster** with up to **70% less VRAM**, with no accuracy loss.
• README: Search + download + run models including GGUF, LoRA adapters, safetensors

来源更新时间：2026-07-16T18:15:29Z

打开原始 GitHub 项目