本地模型 / Ollama 开源项目

当前展示 40 个可索引项目。

• ollama/ollama

  ollama/ollama 提供了一种在本地运行开源大语言模型的简便方式，支持通过 CLI、REST API 和编程语言库进行交互。

• open-webui/open-webui

  open-webui 是一个可自托管、设计为支持离线运行的可扩展 AI 平台，提供 Web 界面管理 Ollama 本地模型与 OpenAI 兼容 API，并集成了检索增强生成（RAG）等丰富功能。

• Zackriya-Solutions/meetily

  meetily 是一款隐私优先的本地 AI 会议助手，能够完全在设备端捕获音频并完成实时转写与摘要，无需将数据发送至云端。它支持使用 Whisper 或 Parakeet 等模型进行本地推理，适合需要严格数据主权的会议记录场景。

• vllm-project/vllm

  vllm 是一个面向大语言模型的高吞吐量且具有内存效率的推理与服务引擎，适合需要高效部署 LLM 的开发者和运维团队。

• ggml-org/llama.cpp

  llama.cpp 是一个纯 C/C++ 实现的 LLM 推理引擎，无任何外部依赖，支持通过整数（1.5-8-bit）量化在本地或云端硬件上运行模型推理。它提供了覆盖 CLI 交互、文本生成、模型量化与多模态处理的核心工具链。

• rasbt/LLMs-from-scratch

  llms-from-scratch 是一份基于 PyTorch 从零开始构建小型可用大语言模型的分步教程资源，涵盖数据准备、注意力机制、预训练和微调。该项目通过逐行编写代码的教学方式，帮助开发者深入理解 LLM 的内部工作原理。

• ChatGPTNextWeb/NextChat

  nextchat 是一款轻量、跨平台的多模型聊天客户端，适合希望快速搭建个人 AI 助手并将会话数据保存在浏览器本地的用户。它的优势是部署和切换模型提供方较方便，但使用前仍需确认外部 API 成本，且本地知识库尚未正式可用。

• unslothai/unsloth

  unsloth 是一个支持通过 Web UI 和代码库在本地运行与训练文本、音频、嵌入及视觉模型的应用，旨在以更快的速度和更低的显存占用完成大模型任务。它同时提供数据集自动构建、模型导出和训练过程监控等支持性能力。

• CorentinJ/Real-Time-Voice-Cloning

  real-time-voice-cloning 是基于 SV2TTS 深度学习框架的语音克隆工具箱，能够从数秒音频中提取声纹并合成任意目标文本的语音。该项目使用较早期的技术，适合用于学习和实验，不适合对音质有高标准的生产环境。

• jingyaogong/minimind

  minimind 是一个面向个人学习者的开源教育项目，提供从零开始用 PyTorch 训练 64M 参数大型语言模型的全流程代码与配套数据集。项目覆盖预训练到强化学习对齐的完整环节，旨在降低理解 LLM 的门槛。

• ggml-org/whisper.cpp

  whisper.cpp 是一个以纯 C/C++ 实现的 OpenAI Whisper 模型推理库，用于在应用程序中集成语音识别功能。该实现无额外依赖，且运行时零内存分配，支持多种操作系统与硬件后端。

• oobabooga/textgen

  textgen 是一个用于在本地运行大型语言模型的桌面应用程序，支持文本、视觉和工具调用功能，并提供与 OpenAI/Anthropic 兼容的 API。该应用程序运行时无任何遥测，确保数据边界仅限本地。

• jamiepine/voicebox

  voicebox 是一个本地优先的语音输入输出栈，将语音克隆、多引擎 TTS、全局听写与 MCP Agent 语音输出整合在同一桌面应用中。它面向希望替代云端语音服务、实现数据不出本地机器的开发者和创作者。

• janhq/jan

  janhq/jan 是一款面向本地大模型交互的桌面应用，可下载并运行来自 HuggingFace 的兼容模型，也可按需连接多家云模型服务。它适合希望通过图形界面使用本地模型，同时保留云端模型与本地接口扩展路径的个人用户和开发者。

• chatboxai/chatbox

  chatbox是一款跨平台的AI客户端桌面应用，允许用户在同一界面内对接OpenAI、Claude等多种大语言模型服务商。该工具采用本地数据存储方案，对话记录与配置信息保存在用户设备上。

• babysor/MockingBird

  babysor/Mockingbird 是一个语音克隆与语音合成工具包，支持中文和多语言语音克隆，提供预训练模型、训练脚本及多种交互方式。它适用于需要定制中文语音合成的开发者和AI工程师，但部署难度较高。

• OpenBMB/VoxCPM

  voxcpm 是一个无 tokenizer 的端到端文本转语音模型，支持 30 种语言并直接输出 48kHz 音频，提供基于自然语言描述的语音设计及声音克隆能力。项目支持本地运行。

• mckaywrigley/chatbot-ui

  mckaywrigley/chatbot-ui 是一个开源 AI 聊天应用，可连接任意 AI 模型，并可在本地或云端部署。选型关键在于：它提供网页聊天界面，但数据库与认证后端需要 Supabase，且运行时仍需接入模型。

• AlexsJones/llmfit

  llmfit 检测本地硬件资源，从多个维度对模型目录进行评分并推荐与系统匹配的模型。该项目提供交互式终端界面、经典命令行输出和实际基准测试功能。

• agentscope-ai/QwenPaw

  qwenpaw 是面向个人使用的 AI 助手，支持本地、自托管与托管形态，并提供持久记忆、工具执行、即时通信渠道接入和代码工作界面。它更适合希望在同一套助手后端中组合本地模型、长期上下文与多种交互入口的用户。

• HandsOnLLM/Hands-On-Large-Language-Models

  hands-on-large-language-models 是《Hands-On Large Language Models》一书的配套代码库，提供涵盖大语言模型入门到高级主题的可运行 Jupyter 笔记本及近 300 幅原创教学插图。

• Fosowl/agenticSeek

  agenticseek 面向希望把智能助手运行在自有硬件上的用户，覆盖网页操作、编程与多步骤任务执行。其核心取舍是以本地数据控制和避免云端依赖，换取仍需自行评估环境与项目成熟度的采用成本。

• mozilla-ai/llamafile

  llamafile 将 llama.cpp 与 Cosmopolitan Libc 结合，把大语言模型及其运行环境打包为单一可执行文件，在多数操作系统和 CPU 架构上本地运行且无需安装。它解决了分发和运行大语言模型时面临的安装与跨平台兼容性难题。

• SYSTRAN/faster-whisper

  systran/faster-whisper 适合需要在本地或自托管环境中运行 Whisper 转录、并关注推理速度与内存占用的开发者。项目支持 CPU 与 CUDA GPU、多种计算类型、批量转录、语音活动检测、单词级时间戳及模型转换，但采用最新 CTranslate2 时需核对 CUDA 12 与 cuDNN 9 的兼容性。

• lyogavin/airllm

  airllm 是一个通过逐层加载策略降低大语言模型推理显存占用的 Python 库，使 70B 级别模型在单张约 4GB 显存的 GPU 上无需量化即可运行。其核心机制是以磁盘加载换取显存节省，因此主要适用于对吞吐量要求不高的本地环境。

• mlc-ai/mlc-llm

  mlc-llm 是一个通过机器学习编译和高性能部署引擎，帮助开发者跨异构硬件与软件平台原生开发、优化和部署大语言模型的项目。它提供统一的推理引擎，并通过兼容 OpenAI 的 API 将模型能力暴露给 REST 服务端及多种编程语言和移动平台接口。

• AiHubCN/Awesome-Chinese-LLM

  awesome-chinese-llm 是一个收录了 100 多个开源中文大语言模型资源的精选清单，涵盖基础模型、垂直领域微调模型、数据集与教程。它解决的是优质中文 LLM 资源分散难以发现的问题，其本身是一个导航列表，而非可直接运行的应用程序或模型。

• QwenLM/Qwen

  Qwen 官方开源了通义千问大语言模型，提供多种规模和量化版本。该系列模型面向自然语言处理任务，支持会话与通用文本处理场景。

• AI4Finance-Foundation/FinGPT

  fingpt 面向金融文本处理与金融大语言模型定制，提供金融预测、多任务金融模型、低秩适配微调和检索增强框架。它适合具备 Python、模型运行环境和金融数据处理需求的研究与工程团队，不适合作为真实资金交易或投资建议工具。

• Alibaba-NLP/DeepResearch

  deepresearch 是一个面向深度信息检索的开源智能体大语言模型，基于 30.5B 参数的 MoE 架构构建，旨在跨网络自动化执行长周期的深度研究任务。该模型在多个智能体搜索基准测试中取得了领先的性能表现。

• kvcache-ai/ktransformers

  ktransformers 是一个针对大语言模型（尤其是 MoE 模型）的推理与微调框架，通过 CPU-GPU 异构计算降低硬件门槛。它支持在本地环境中加速模型推理并集成微调工具链。

• ymcui/Chinese-LLaMA-Alpaca

  chinese-llama-alpaca 在原始 LLaMA 词表基础上扩充中文字符，提供开源的中文 LLaMA 与 Alpaca 模型 LoRA 权重、训练脚本和本地部署工具，用于改善中文语义理解与指令跟随能力。

• elizaOS/eliza

  eliza 是一个本地优先的开源 AI 代理操作系统，将聊天收件箱、个人助理、浏览器自动化和加密钱包统一在用户设备上运行，实现默认隐私保护。它支持跨 iMessage、Discord、Telegram 等多平台的消息管理与自动化操作。

• jundot/omlx

  omlx 是面向 Apple Silicon 的本地 LLM 推理服务，核心特征是分层 KV 缓存（热数据驻留 RAM、冷数据卸载至 SSD）在服务重启后仍可恢复，并通过 macOS 菜单栏应用和 Web 管理面板进行管理。兼容 OpenAI 与 Anthropic API 格式，支持并发批处理与多模型同服。

• rowboatlabs/rowboat

  Rowboat 是一款桌面端 AI 工作助手，它会将邮件、会议和通讯工具中的信息索引为一个持续的本地知识图谱，并在此基础上提供起草邮件、记录笔记和执行后台任务的界面。

• alibaba/MNN

  MNN 是一个轻量级深度学习推理与训练框架，用于在资源受限的移动和嵌入式设备上运行和训练模型。

• zai-org/ChatGLM2-6B

  zai-org/chatglm2-6b 是一款面向中英文对话的开源聊天模型，支持最长 32K 上下文。它通过 Multi-Query Attention 提升推理速度并降低显存占用，商业使用需完成登记。

• GaiZhenbiao/ChuanhuChatGPT

  chuanhuchatgpt 为 ChatGPT 及多种大语言模型提供轻量级 Web 图形交互界面，并支持知识库问答、本地模型接入与自动化代理等功能。它适合需要通过浏览器统一管理和对话多种模型的个人用户及开发者。

• n8n-io/self-hosted-ai-starter-kit

  self-hosted-ai-starter-kit 是一个开源 Docker Compose 模板，用于在本地快速搭建结合了 n8n、Ollama、Qdrant 和 PostgreSQL 的自托管 AI 与低代码开发环境。

• llmware-ai/llmware

  llmware-ai/llmware 是一个用于在本地、私有和安全环境中构建 LLM 应用的框架，提供包含 300+ 模型的目录和 RAG 流水线组件。