按分类找 AI 开源项目

聊天助手

浏览当前公开快照中“聊天助手”相关的 AI 开源项目，并查看许可证、部署、适用场景、限制和核验来源。

open-webui/open-webui — open-webui 是一个可自托管、设计为支持离线运行的可扩展 AI 平台，提供 Web 界面管理 Ollama 本地模型与 OpenAI 兼容 API，并集成了检索增强生成（RAG）等丰富功能。
ollama/ollama — ollama/ollama 提供了一种在本地运行开源大语言模型的简便方式，支持通过 CLI、REST API 和编程语言库进行交互。
ggml-org/llama.cpp — llama.cpp 是一个纯 C/C++ 实现的 LLM 推理引擎，无任何外部依赖，支持通过整数（1.5-8-bit）量化在本地或云端硬件上运行模型推理。它提供了覆盖 CLI 交互、文本生成、模型量化与多模态处理的核心工具链。
drumih/turbo-fieldfare — turbo-fieldfare 是一个用于在 Apple Silicon Mac 上本地运行大语言模型的自定义 Swift + Metal 运行时，通过从 SSD 流式加载所需的专家模块，使 Gemma 4 26B-A4B 模型能在约 2 GB 内存中运行。
Mintplex-Labs/anything-llm — anything-llm 提供了一套集成文档对话与 AI 代理能力的桌面或服务器端应用，支持本地隐私部署与多用户权限管理。用户无需编写代码即可通过图形界面将 PDF 等文件导入工作区进行问答交互。
ChatGPTNextWeb/NextChat — nextchat 是一款轻量、跨平台的多模型聊天客户端，适合希望快速搭建个人 AI 助手并将会话数据保存在浏览器本地的用户。它的优势是部署和切换模型提供方较方便，但使用前仍需确认外部 API 成本，且本地知识库尚未正式可用。
CherryHQ/cherry-studio — cherry-studio 是一款桌面端 LLM 客户端，提供统一界面访问多家云端与本地模型服务，预置 300+ 个助手配置，并支持文档处理功能。用户下载并安装桌面应用即可使用。
lyogavin/airllm — airllm 是一个通过逐层加载策略降低大语言模型推理显存占用的 Python 库，使 70B 级别模型在单张约 4GB 显存的 GPU 上无需量化即可运行。其核心机制是以磁盘加载换取显存节省，因此主要适用于对吞吐量要求不高的本地环境。
jundot/omlx — omlx 是面向 Apple Silicon 的本地 LLM 推理服务，核心特征是分层 KV 缓存（热数据驻留 RAM、冷数据卸载至 SSD）在服务重启后仍可恢复，并通过 macOS 菜单栏应用和 Web 管理面板进行管理。兼容 OpenAI 与 Anthropic API 格式，支持并发批处理与多模型同服。
danny-avila/LibreChat — librechat 是一个可自托管的多用户 AI 对话平台，将 Anthropic、OpenAI、AWS Bedrock 等多个 AI 提供商统一在同一界面中。该项目支持代理、工具调用、MCP 协议以及多用户权限管理，适合需要在自有基础设施内部署 AI 对话服务的团队使用。
xtekky/gpt4free — gpt4free 是一个聚合多种 LLM 与媒体生成提供方的开源项目，提供本地 GUI、OpenAI 兼容 REST API 及 Python/JavaScript 客户端。它通过多提供方适配器将请求路由至不同的外部或本地服务，降低了对单一服务的依赖。
agentscope-ai/QwenPaw — qwenpaw 是面向个人使用的 AI 助手，支持本地、自托管与托管形态，并提供持久记忆、工具执行、即时通信渠道接入和代码工作界面。它更适合希望在同一套助手后端中组合本地模型、长期上下文与多种交互入口的用户。
FareedKhan-dev/kimi-k3-in-c — fareedkhan-dev/kimi-k3-in-c 是一个用纯 C99 编写的推理引擎，通过从磁盘流式加载非驻留专家，在单 CPU 和 8.24 GB RAM 的条件下运行 2.78 万亿参数的混合专家模型，输出与全驻留运行时字节一致。
mudler/LocalAI — localai 是一个开源 AI 引擎，可在用户自有基础设施上运行涵盖文本、音频、图像和视频的多模态模型，且不强制要求 GPU。它提供与 OpenAI、Anthropic 和 ElevenLabs API 兼容的接口，便于已有应用对接。
khoj-ai/khoj — 结论：khoj 适合希望通过自托管或托管服务检索个人文档、查询互联网并与本地或在线大模型对话的用户。它还覆盖自定义智能体、研究自动化以及浏览器、桌面和移动端等访问方式，但选型前需另行确认 GPU、最低硬件和遥测要求。
janhq/jan — janhq/jan 是一款面向本地大模型交互的桌面应用，可下载并运行来自 HuggingFace 的兼容模型，也可按需连接多家云模型服务。它适合希望通过图形界面使用本地模型，同时保留云端模型与本地接口扩展路径的个人用户和开发者。
chatboxai/chatbox — chatbox是一款跨平台的AI客户端桌面应用，允许用户在同一界面内对接OpenAI、Claude等多种大语言模型服务商。该工具采用本地数据存储方案，对话记录与配置信息保存在用户设备上。
oobabooga/textgen — textgen 是一个用于在本地运行大型语言模型的桌面应用程序，支持文本、视觉和工具调用功能，并提供与 OpenAI/Anthropic 兼容的 API。该应用程序运行时无任何遥测，确保数据边界仅限本地。
onyx-dot-app/onyx — onyx 是一个可自托管的大语言模型应用层与聊天界面，为私有部署环境提供 RAG、联网搜索和深度研究等能力。该项目提供 50 种以上索引连接器以及可按需选择的轻量部署模式。
datawhalechina/self-llm — self-llm 是一个面向中文初学者的开源大语言模型教程项目，覆盖 50+ 主流开源大模型的环境配置、部署、应用与微调全流程。教程适配多种硬件平台，以文本和 Jupyter Notebook 形式提供可跟练的学习路径。
chatchat-space/Langchain-Chatchat — langchain-chatchat 是一个面向中文场景、支持离线私有部署的 RAG 与 Agent 应用，提供本地知识库问答及多种对话能力。该项目已不再直接加载本地模型，需配合外部模型推理框架使用。
GeeeekExplorer/nano-vllm — nano-vllm 是一个用约 1200 行 Python 代码从零构建的轻量级推理引擎，在保持代码可读性的同时实现了与原版 vLLM 可比的推理速度。它集成了前缀缓存、张量并行和 CUDA 图等优化技术，适合理解大模型推理机制和进行离线推理。
tinyhumansai/openhuman — tinyhumansai/openhuman 是一款本地优先的个人 AI 应用，将个人数据整理为持久记忆，并支持可恢复的多智能体工作流与个人数据和网络研究。它以桌面应用和二进制安装包提供，支持本地运行。
mozilla-ai/llamafile — llamafile 将 llama.cpp 与 Cosmopolitan Libc 结合，把大语言模型及其运行环境打包为单一可执行文件，在多数操作系统和 CPU 架构上本地运行且无需安装。它解决了分发和运行大语言模型时面临的安装与跨平台兼容性难题。
Fosowl/agenticSeek — agenticseek 面向希望把智能助手运行在自有硬件上的用户，覆盖网页操作、编程与多步骤任务执行。其核心取舍是以本地数据控制和避免云端依赖，换取仍需自行评估环境与项目成熟度的采用成本。
mckaywrigley/chatbot-ui — mckaywrigley/chatbot-ui 是一个开源 AI 聊天应用，可连接任意 AI 模型，并可在本地或云端部署。选型关键在于：它提供网页聊天界面，但数据库与认证后端需要 Supabase，且运行时仍需接入模型。
AAswordman/Operit — operit 是一款面向 Android 的 AI 智能体应用，提供工具调用、本地模型执行、设备端记忆与系统级集成等能力，应用本身不作为聊天请求的中转。它针对移动端缺乏功能完备且能深度集成操作系统的独立 AI 智能体应用这一问题而设计。
Open-LLM-VTuber/Open-LLM-VTuber — open-llm-vtuber 是面向语音交互式 AI 伙伴场景的跨平台应用，组合了实时语音对话、Live2D 形象、桌面宠物形态与多种模型后端。若希望使用本地模型实现可完全离线的角色化交互，它值得优先评估；但远程麦克风访问、Live2D 样例模型许可范围和版本迁移需要提前核查。
kvcache-ai/ktransformers — ktransformers 是一个针对大语言模型（尤其是 MoE 模型）的推理与微调框架，通过 CPU-GPU 异构计算降低硬件门槛。它支持在本地环境中加速模型推理并集成微调工具链。
elizaOS/eliza — eliza 是一个本地优先的开源 AI 代理操作系统，将聊天收件箱、个人助理、浏览器自动化和加密钱包统一在用户设备上运行，实现默认隐私保护。它支持跨 iMessage、Discord、Telegram 等多平台的消息管理与自动化操作。
QwenLM/Qwen — Qwen 官方开源了通义千问大语言模型，提供多种规模和量化版本。该系列模型面向自然语言处理任务，支持会话与通用文本处理场景。
fathah/hermes-desktop — hermes-desktop 是一个原生桌面 GUI 应用，用于简化 Hermes Agent 的安装、配置和对话交互，以图形化工作区替代复杂的 CLI 操作流程。
alibaba/MNN — MNN 是一个轻量级深度学习推理与训练框架，用于在资源受限的移动和嵌入式设备上运行和训练模型。

AI 搜索

按分类找 AI 开源项目