按分类找 AI 开源项目

基础设施

浏览当前公开快照中“基础设施”相关的 AI 开源项目，并查看许可证、部署、适用场景、限制和核验来源。

earendil-works/pi — pi 面向需要在终端使用编码代理或开发自定义代理的开发者，将多家大模型服务的统一调用接口、支持工具调用的代理运行时和交互式编码代理命令行界面放在同一项目中。选型前需要确认外部模型服务、接口费用与执行权限隔离方案。
codecrafters-io/build-your-own-x — build-your-own-x 是一个精选的教程链接汇编仓库，汇集了大量指导开发者从零开始重建数据库、操作系统、神经网络等流行技术的分步学习资源。
DigitalPlatDev/FreeDomain — freedomain 提供免费的域名注册、通过自定义域名服务器进行 DNS 管理，以及配套的学习资源。用户可通过托管的 Web 面板完成域名注册，无需本地部署。
diegosouzapw/OmniRoute — omniroute 是一个聚合 250+ AI 提供商的免费 AI 网关，通过单一端点统一请求路由并提供自动故障转移。它叠加 RTK 与 Caveman 引擎进行 Token 压缩，据项目描述可节省 15-95% 的 Token 消耗。
usestrix/strix — strix 提供自主 AI 渗透测试代理，能够动态运行代码并使用真实的 PoC 验证漏洞，从而减少传统静态分析产生的误报。该项目支持通过本地代码库或 Web URL 进行自动化安全测试。
ggml-org/llama.cpp — llama.cpp 是一个纯 C/C++ 实现的 LLM 推理引擎，无任何外部依赖，支持通过整数（1.5-8-bit）量化在本地或云端硬件上运行模型推理。它提供了覆盖 CLI 交互、文本生成、模型量化与多模态处理的核心工具链。
openai/whisper — whisper 是一个基于大规模弱监督训练的通用语音识别模型，可通过单一模型完成多语言语音识别、语音翻译和语言辨识。它以多任务序列到序列方式替代传统语音处理流水线中的多个独立阶段。
tt-a1i/archify — archify 是一个将英文自然语言描述转化为自包含技术 HTML 架构图，并支持多格式高清导出与主题切换的技能工具。它通过 JSON 模式校验与布局检查保障图表质量，并支持组件名称到视觉类别的语义映射。
tensorflow/tensorflow — tensorflow/tensorflow 是面向机器学习研究与应用开发的端到端开源框架，覆盖模型构建、训练、张量运算以及多平台运行。它更适合需要代码级控制、稳定 Python 或 C++ 接口和多种部署形态的团队，而非追求零代码体验的用户。
vllm-project/vllm — vllm 是一个面向大语言模型的高吞吐量且具有内存效率的推理与服务引擎，适合需要高效部署 LLM 的开发者和运维团队。
lyogavin/airllm — airllm 是一个通过逐层加载策略降低大语言模型推理显存占用的 Python 库，使 70B 级别模型在单张约 4GB 显存的 GPU 上无需量化即可运行。其核心机制是以磁盘加载换取显存节省，因此主要适用于对吞吐量要求不高的本地环境。
cloudflare/computer — cloudflare/computer 是一个运行在 Durable Object 内部的虚拟文件系统，为 AI 代理提供有状态的、可执行的虚拟计算机环境。它支持通过容器、Shell 或 JavaScript 等可插拔的后端来运行代理编写的代码。
BerriAI/litellm — litellm 是一个开源 AI 网关与 Python SDK，以统一的 OpenAI 格式代理对 100 多种大语言模型的调用，并提供成本追踪、负载均衡、缓存和管理面板。
Lordog/dive-into-llms — dive-into-llms 是一个基于大学课程衍生的免费大语言模型（LLM）编程教程系列，提供涵盖微调、提示工程、知识编辑到 AI Agent 等主题的讲义与可执行代码。
sgl-project/sglang — sglang 是一个面向大语言模型和多模态模型的服务框架，通过 RadixAttention、零开销调度器和连续批处理等运行时特性，提供低延迟、高吞吐的推理能力，并具备多硬件平台兼容性。
karpathy/autoresearch — autoresearch 是一个自主研究循环工具，由 AI agent 自动修改训练代码、执行短时实验并评估结果，用于迭代改进小型 LLM。它将实验标准化为 5 分钟固定训练预算，在单 GPU 上运行 nanochat 训练设置。
bytedance/deer-flow — deer-flow 是一个开源的智能体框架，用于编排子智能体、记忆和沙盒来处理需要数分钟到数小时的复杂任务。该项目支持通过本地、Docker 或 Kubernetes 模式执行代码，并可通过 IM 渠道和 MCP 服务器扩展能力。
langfuse/langfuse — langfuse 是一个开源的 AI 工程平台，提供 LLM 可观测性、评估、提示词管理、数据集和试验场能力，支持自托管，可通过 Docker Compose 在本地快速运行。
drumih/turbo-fieldfare — turbo-fieldfare 是一个用于在 Apple Silicon Mac 上本地运行大语言模型的自定义 Swift + Metal 运行时，通过从 SSD 流式加载所需的专家模块，使 Gemma 4 26B-A4B 模型能在约 2 GB 内存中运行。
supabase/supabase — supabase 是一个基于开源工具构建的后端即服务平台，以独立 Postgres 数据库为核心，为 Web、移动端及 AI 应用提供类 Firebase 的开发体验。它支持自托管，也可使用其托管的云服务。
PaddlePaddle/PaddleOCR — PaddleOCR 是一个文档解析库，旨在将非结构化的图像和 PDF 文档转换为结构化的 Markdown 或 JSON 数据，以支撑大语言模型应用。该项目提供了 0.9B 参数的轻量级视觉语言模型以及结构化解析能力。
QuantumNous/new-api — new-api 是一个 LLM 网关与 AI 资产管理系统，支持将 OpenAI、Claude、Gemini 等多种大模型 API 的格式进行互转，并提供用量计费与成本核算能力，支持私有部署。
walkinglabs/learn-harness-engineering — learn-harness-engineering 是一门基于项目的课程与可复用模板集合，旨在系统性地为 AI 编码代理构建可靠的工作环境（harness），使其在多会话的真实工程任务中减少对人工监督的依赖。
vectorize-io/hindsight — vectorize-io/hindsight 是一个使用仿生数据结构为 AI 代理提供长期记忆的系统，让代理能够学习而不仅是回忆对话历史。它通过包装现有 LLM 客户端，仅需两行代码即可自动存储和检索记忆。
pytorch/pytorch — pytorch 是一个面向深度学习研究与 GPU 加速张量计算的 Python 库，通过基于磁带的自动微分系统构建动态神经网络，兼顾灵活性与速度。
qdrant/qdrant — qdrant 是用 Rust 编写的向量相似度搜索引擎，支持稠密向量、稀疏向量、多向量搜索与 JSON 负载过滤，并提供分片与副本的横向扩展能力。内置量化可将 RAM 占用降低多达 97%，用户可在搜索速度与精度之间进行调节。
OpenBB-finance/OpenBB — openbb-finance/openbb 是一个面向金融数据的接入与分发基础设施层，采用"一次接入，处处消费"架构，将专有数据、授权数据和公开数据源统一暴露给 Python 环境、OpenBB Workspace、面向 AI 智能体的 MCP 服务器及 REST API 等多种下游消费端。
agentscope-ai/agentscope — agentscope 是一个面向生产环境的多智能体 LLM 应用框架，提供细粒度权限控制、多租户服务、人在回路的抽象以及可扩展的隔离沙箱工作区。该项目旨在解决构建需要安全代码执行和工具资源管控的多智能体系统时所面临的工程复杂性。
Tencent/WeKnora — tencent/weknora 适合希望把分散文档转为可检索问答、智能体推理结果和结构化知识 Wiki 的团队，尤其值得评估其文档到关联 Markdown 页面与知识图谱的转换能力。选型前应先确认模型提供方、数据边界、网络访问控制和硬件需求。
opencv/opencv — opencv 是一个覆盖计算机视觉、图像处理和深度学习领域的开源函数库，定位为计算机视觉开发的基础设施。该项目以库形式提供算法集合，供开发者在本地集成使用。
oblien/openship — openship 是一个开源、可自部署的应用部署平台，能够从代码仓库或本地文件夹自动完成应用的构建、部署、路由配置与安全保护。它提供零配置的技术栈检测与自动 TLS 证书管理，帮助用户减少在 CI/CD 与服务器运维方面的工作。
binhnguyennus/awesome-scalability — awesome-scalability 是一份系统设计阅读清单，汇集了阐释可扩展、可靠且高性能系统设计原则的文章与生产级架构案例。其内容来源包含知名工程师的论述及经过实战验证的系统实践。
opensandbox-group/OpenSandbox — opensandbox-group/opensandbox 是一个为 AI 应用提供安全、隔离且可扩展的代码与命令执行沙箱的通用平台，提供统一 API、生命周期管理以及 Docker 和 Kubernetes 运行时。
netdata/netdata — netdata 是一款基础设施监控工具，提供每秒一次的指标采集和零配置使用体验，在 Linux 等系统上默认资源占用较低。
NVIDIA/SkillSpector — skillspector 是一个面向 AI agent 技能的安全扫描工具，用于在安装 agent 技能之前检测漏洞、恶意代码模式和安全风险。它支持对 Git 仓库、URL、zip 文件、目录或单个文件进行静态分析，并提供 0-100 的风险评分和建议。
josephmisiti/awesome-machine-learning — awesome-machine-learning 是一份按编程语言分类整理的机器学习框架、库和软件的精选目录列表。该仓库本身只提供链接，不包含可运行的代码。
jo-inc/camofox-browser — camofox-browser 是一个面向 AI agent 的反检测浏览器服务器，通过 C++ 层级指纹伪装绕过机器人检测，并通过 REST API 暴露无障碍快照、稳定元素引用和搜索宏。
songquanpeng/one-api — one-api 将多个 LLM 提供商的访问统一到标准 OpenAI API 格式之下，提供密钥管理与二次分发能力。它通过多渠道路由分发请求，帮助开发者和团队统一接口调用。
Nasiko-Labs/nasiko — nasiko 是一个面向生产环境的 AI 代理控制平面，将多代理的部署、智能路由、可观测性和生命周期管理整合在一个平台中。它通过 Kong 网关和 LangChain 驱动的路由机制，为开发团队提供代理规模扩展时的基础设施支持。
labmlai/annotated_deep_learning_paper_implementations — annotated_deep_learning_paper_implementations 是一个用 PyTorch 编写的深度学习论文与算法实现集合，所有代码均附带注释说明，并以并排版式渲染为学习笔记，旨在帮助用户更好地理解算法。

AI 搜索

按分类找 AI 开源项目