按分类找 AI 开源项目

本地模型 / Ollama

浏览当前公开快照中“本地模型 / Ollama”相关的 AI 开源项目，并查看许可证、部署、适用场景、限制和核验来源。

open-webui/open-webui — open-webui 是一个可自托管、设计为支持离线运行的可扩展 AI 平台，提供 Web 界面管理 Ollama 本地模型与 OpenAI 兼容 API，并集成了检索增强生成（RAG）等丰富功能。
ollama/ollama — ollama/ollama 提供了一种在本地运行开源大语言模型的简便方式，支持通过 CLI、REST API 和编程语言库进行交互。
ggml-org/llama.cpp — llama.cpp 是一个纯 C/C++ 实现的 LLM 推理引擎，无任何外部依赖，支持通过整数（1.5-8-bit）量化在本地或云端硬件上运行模型推理。它提供了覆盖 CLI 交互、文本生成、模型量化与多模态处理的核心工具链。
jingyaogong/minimind — minimind 是一个面向个人学习者的开源教育项目，提供从零开始用 PyTorch 训练 64M 参数大型语言模型的全流程代码与配套数据集。项目覆盖预训练到强化学习对齐的完整环节，旨在降低理解 LLM 的门槛。
unslothai/unsloth — unsloth 是一个支持通过 Web UI 和代码库在本地运行与训练文本、音频、嵌入及视觉模型的应用，旨在以更快的速度和更低的显存占用完成大模型任务。它同时提供数据集自动构建、模型导出和训练过程监控等支持性能力。
vllm-project/vllm — vllm 是一个面向大语言模型的高吞吐量且具有内存效率的推理与服务引擎，适合需要高效部署 LLM 的开发者和运维团队。
lyogavin/airllm — airllm 是一个通过逐层加载策略降低大语言模型推理显存占用的 Python 库，使 70B 级别模型在单张约 4GB 显存的 GPU 上无需量化即可运行。其核心机制是以磁盘加载换取显存节省，因此主要适用于对吞吐量要求不高的本地环境。
cactus-compute/needle — needle 是一个拥有 2600 万参数的注意力网络模型，用于在手机、可穿戴设备、智能家居设备等小型消费设备上运行 AI 函数调用。该模型大小为 14MB，在 Cactus 上可实现每秒 6000 token 的预填充速度，并支持本地微调。
FareedKhan-dev/kimi-k3-in-c — fareedkhan-dev/kimi-k3-in-c 是一个用纯 C99 编写的推理引擎，通过从磁盘流式加载非驻留专家，在单 CPU 和 8.24 GB RAM 的条件下运行 2.78 万亿参数的混合专家模型，输出与全驻留运行时字节一致。
rasbt/LLMs-from-scratch — llms-from-scratch 是一份基于 PyTorch 从零开始构建小型可用大语言模型的分步教程资源，涵盖数据准备、注意力机制、预训练和微调。该项目通过逐行编写代码的教学方式，帮助开发者深入理解 LLM 的内部工作原理。
drumih/turbo-fieldfare — turbo-fieldfare 是一个用于在 Apple Silicon Mac 上本地运行大语言模型的自定义 Swift + Metal 运行时，通过从 SSD 流式加载所需的专家模块，使 Gemma 4 26B-A4B 模型能在约 2 GB 内存中运行。
jamiepine/voicebox — voicebox 是一个本地优先的语音输入输出栈，将语音克隆、多引擎 TTS、全局听写与 MCP Agent 语音输出整合在同一桌面应用中。它面向希望替代云端语音服务、实现数据不出本地机器的开发者和创作者。
ChatGPTNextWeb/NextChat — nextchat 是一款轻量、跨平台的多模型聊天客户端，适合希望快速搭建个人 AI 助手并将会话数据保存在浏览器本地的用户。它的优势是部署和切换模型提供方较方便，但使用前仍需确认外部 API 成本，且本地知识库尚未正式可用。
jundot/omlx — omlx 是面向 Apple Silicon 的本地 LLM 推理服务，核心特征是分层 KV 缓存（热数据驻留 RAM、冷数据卸载至 SSD）在服务重启后仍可恢复，并通过 macOS 菜单栏应用和 Web 管理面板进行管理。兼容 OpenAI 与 Anthropic API 格式，支持并发批处理与多模型同服。
Zackriya-Solutions/meetily — meetily 是一款隐私优先的本地 AI 会议助手，能够完全在设备端捕获音频并完成实时转写与摘要，无需将数据发送至云端。它支持使用 Whisper 或 Parakeet 等模型进行本地推理，适合需要严格数据主权的会议记录场景。
OpenBMB/VoxCPM — voxcpm 是一个无 tokenizer 的端到端文本转语音模型，支持 30 种语言并直接输出 48kHz 音频，提供基于自然语言描述的语音设计及声音克隆能力。项目支持本地运行。
ggml-org/whisper.cpp — whisper.cpp 是一个以纯 C/C++ 实现的 OpenAI Whisper 模型推理库，用于在应用程序中集成语音识别功能。该实现无额外依赖，且运行时零内存分配，支持多种操作系统与硬件后端。
agentscope-ai/QwenPaw — qwenpaw 是面向个人使用的 AI 助手，支持本地、自托管与托管形态，并提供持久记忆、工具执行、即时通信渠道接入和代码工作界面。它更适合希望在同一套助手后端中组合本地模型、长期上下文与多种交互入口的用户。
Crosstalk-Solutions/project-nomad — Project Nomad 是一台完全离线优先、自包含的知识与教育服务器，集成了工具和 AI 能力，专为互联网中断或离网场景下的信息访问需求设计。
CorentinJ/Real-Time-Voice-Cloning — real-time-voice-cloning 是基于 SV2TTS 深度学习框架的语音克隆工具箱，能够从数秒音频中提取声纹并合成任意目标文本的语音。该项目使用较早期的技术，适合用于学习和实验，不适合对音质有高标准的生产环境。
janhq/jan — janhq/jan 是一款面向本地大模型交互的桌面应用，可下载并运行来自 HuggingFace 的兼容模型，也可按需连接多家云模型服务。它适合希望通过图形界面使用本地模型，同时保留云端模型与本地接口扩展路径的个人用户和开发者。
chatboxai/chatbox — chatbox是一款跨平台的AI客户端桌面应用，允许用户在同一界面内对接OpenAI、Claude等多种大语言模型服务商。该工具采用本地数据存储方案，对话记录与配置信息保存在用户设备上。
HandsOnLLM/Hands-On-Large-Language-Models — hands-on-large-language-models 是《Hands-On Large Language Models》一书的配套代码库，提供涵盖大语言模型入门到高级主题的可运行 Jupyter 笔记本及近 300 幅原创教学插图。
oobabooga/textgen — textgen 是一个用于在本地运行大型语言模型的桌面应用程序，支持文本、视觉和工具调用功能，并提供与 OpenAI/Anthropic 兼容的 API。该应用程序运行时无任何遥测，确保数据边界仅限本地。
tinyhumansai/openhuman — tinyhumansai/openhuman 是一款本地优先的个人 AI 应用，将个人数据整理为持久记忆，并支持可恢复的多智能体工作流与个人数据和网络研究。它以桌面应用和二进制安装包提供，支持本地运行。
SYSTRAN/faster-whisper — systran/faster-whisper 适合需要在本地或自托管环境中运行 Whisper 转录、并关注推理速度与内存占用的开发者。项目支持 CPU 与 CUDA GPU、多种计算类型、批量转录、语音活动检测、单词级时间戳及模型转换，但采用最新 CTranslate2 时需核对 CUDA 12 与 cuDNN 9 的兼容性。
Fosowl/agenticSeek — agenticseek 面向希望把智能助手运行在自有硬件上的用户，覆盖网页操作、编程与多步骤任务执行。其核心取舍是以本地数据控制和避免云端依赖，换取仍需自行评估环境与项目成熟度的采用成本。
GeeeekExplorer/nano-vllm — nano-vllm 是一个用约 1200 行 Python 代码从零构建的轻量级推理引擎，在保持代码可读性的同时实现了与原版 vLLM 可比的推理速度。它集成了前缀缓存、张量并行和 CUDA 图等优化技术，适合理解大模型推理机制和进行离线推理。
mozilla-ai/llamafile — llamafile 将 llama.cpp 与 Cosmopolitan Libc 结合，把大语言模型及其运行环境打包为单一可执行文件，在多数操作系统和 CPU 架构上本地运行且无需安装。它解决了分发和运行大语言模型时面临的安装与跨平台兼容性难题。
babysor/MockingBird — babysor/Mockingbird 是一个语音克隆与语音合成工具包，支持中文和多语言语音克隆，提供预训练模型、训练脚本及多种交互方式。它适用于需要定制中文语音合成的开发者和AI工程师，但部署难度较高。
AAswordman/Operit — operit 是一款面向 Android 的 AI 智能体应用，提供工具调用、本地模型执行、设备端记忆与系统级集成等能力，应用本身不作为聊天请求的中转。它针对移动端缺乏功能完备且能深度集成操作系统的独立 AI 智能体应用这一问题而设计。
mckaywrigley/chatbot-ui — mckaywrigley/chatbot-ui 是一个开源 AI 聊天应用，可连接任意 AI 模型，并可在本地或云端部署。选型关键在于：它提供网页聊天界面，但数据库与认证后端需要 Supabase，且运行时仍需接入模型。
Open-LLM-VTuber/Open-LLM-VTuber — open-llm-vtuber 是面向语音交互式 AI 伙伴场景的跨平台应用，组合了实时语音对话、Live2D 形象、桌面宠物形态与多种模型后端。若希望使用本地模型实现可完全离线的角色化交互，它值得优先评估；但远程麦克风访问、Live2D 样例模型许可范围和版本迁移需要提前核查。
rowboatlabs/rowboat — Rowboat 是一款桌面端 AI 工作助手，它会将邮件、会议和通讯工具中的信息索引为一个持续的本地知识图谱，并在此基础上提供起草邮件、记录笔记和执行后台任务的界面。
elizaOS/eliza — eliza 是一个本地优先的开源 AI 代理操作系统，将聊天收件箱、个人助理、浏览器自动化和加密钱包统一在用户设备上运行，实现默认隐私保护。它支持跨 iMessage、Discord、Telegram 等多平台的消息管理与自动化操作。
kvcache-ai/ktransformers — ktransformers 是一个针对大语言模型（尤其是 MoE 模型）的推理与微调框架，通过 CPU-GPU 异构计算降低硬件门槛。它支持在本地环境中加速模型推理并集成微调工具链。
AI4Finance-Foundation/FinGPT — fingpt 面向金融文本处理与金融大语言模型定制，提供金融预测、多任务金融模型、低秩适配微调和检索增强框架。它适合具备 Python、模型运行环境和金融数据处理需求的研究与工程团队，不适合作为真实资金交易或投资建议工具。
mlc-ai/mlc-llm — mlc-llm 是一个通过机器学习编译和高性能部署引擎，帮助开发者跨异构硬件与软件平台原生开发、优化和部署大语言模型的项目。它提供统一的推理引擎，并通过兼容 OpenAI 的 API 将模型能力暴露给 REST 服务端及多种编程语言和移动平台接口。
Andyyyy64/whichllm — andyyyy64/whichllm 是面向本地大模型选型与硬件规划的命令行工具，核心价值是按显存适配、生成速度、真实基准与新近程度给出排序，而不是只看参数量。它尤其适合想先确认“当前机器或目标显卡能跑什么”，再进入聊天或代码调用的用户。
QwenLM/Qwen — Qwen 官方开源了通义千问大语言模型，提供多种规模和量化版本。该系列模型面向自然语言处理任务，支持会话与通用文本处理场景。

AI 搜索

按分类找 AI 开源项目