oobabooga/textgen

项目概览

textgen 支持 llama.cpp、Transformers 和 ExLlamaV3 等多种后端，并在不重启的情况下切换；同时提供与 OpenAI 和 Anthropic 兼容的本地 API 端点，适合需要离线部署且复用现有 API 生态的选型场景。

项目类型

模型运行

应用场景

聊天助手 · 编程开发

部署方式

查看项目说明

License

AGPL-3.0

适合谁

• 寻找完全离线、无遥测的桌面端大语言模型运行环境的用户。
• 需要兼容 OpenAI/Anthropic API 格式且具备本地化数据隔离要求的应用开发者。

核心能力

• 在本地运行文本生成模型，提供指令模式和聊天模式，支持分支和笔记本界面交互。
• 允许在聊天过程中将图像作为附件附加到消息中，以实现视觉理解功能。
• 模型可以在聊天期间调用以单个 .py 文件定义的自定义函数，如网页搜索、页面获取和数学运算；同时支持 MCP 服务器。
• 在本地提供 Chat、Completions 和 Messages 端点，作为 OpenAI/Anthropic API 的直接替代。
• 支持在多轮对话数据集或原始文本数据集上进行 LoRA 微调。
• 提供专门的标签页用于运行 diffusers 模型（如 Z-Image-Turbo），支持量化功能和图库管理。
• 支持内置和社区扩展，包括文本转语音 (TTS)、语音输入和翻译功能。

限制与风险

• 某些特定模型类型需要完整安装才能支持，无法在便携版（portable build）中使用。
• 进行完整安装时需要约 10GB 的磁盘空间，且必须下载 PyTorch 环境。

如何开始

• 下载对应平台的压缩包，解压后双击 textgen 可执行文件即可启动窗口，不需要额外编写代码。
• 在运行前，需要从 Hugging Face 等平台获取所需的 GGUF 模型文件并在程序中加载。

核验依据

• GitHub 项目简介: Open-source desktop app for local LLMs. Text, vision, tool-calling, OpenAI/Anthropic-compatible API. 100% private.
• README: A desktop app for local LLMs. Open source, no telemetry. Text, vision, tool-calling, web search. UI + API.
• README: A desktop app for local LLMs.
• README: In August 2023, Andreessen Horowitz (a16z) provided a generous grant to encourage and support my independent work on this project.
• README: instruct mode for instruction-following (like ChatGPT), and chat-instruct/chat modes for talking to custom characters.

内容核验时间：