按分类找 AI 开源项目

基础设施

浏览当前公开快照中“基础设施”相关的 AI 开源项目，并查看许可证、部署、适用场景、限制和核验来源。

earendil-works/pi — pi 面向需要在终端使用编码代理或开发自定义代理的开发者，将多家大模型服务的统一调用接口、支持工具调用的代理运行时和交互式编码代理命令行界面放在同一项目中。选型前需要确认外部模型服务、接口费用与执行权限隔离方案。
codecrafters-io/build-your-own-x — build-your-own-x 是一个精选的教程链接汇编仓库，汇集了大量指导开发者从零开始重建数据库、操作系统、神经网络等流行技术的分步学习资源。
tt-a1i/archify — archify 是一个将英文自然语言描述转化为自包含技术 HTML 架构图，并支持多格式高清导出与主题切换的技能工具。它通过 JSON 模式校验与布局检查保障图表质量，并支持组件名称到视觉类别的语义映射。
heygen-com/hyperframes — hyperframes 是一个将 HTML/CSS 和可寻址动画编程式渲染为确定性 MP4 视频的框架，专为自动化流水线和 AI 智能体设计。它无需构建步骤，且无按次渲染费用。
usestrix/strix — strix 提供自主 AI 渗透测试代理，能够动态运行代码并使用真实的 PoC 验证漏洞，从而减少传统静态分析产生的误报。该项目支持通过本地代码库或 Web URL 进行自动化安全测试。
openai/whisper — whisper 是一个基于大规模弱监督训练的通用语音识别模型，可通过单一模型完成多语言语音识别、语音翻译和语言辨识。它以多任务序列到序列方式替代传统语音处理流水线中的多个独立阶段。
DigitalPlatDev/FreeDomain — freedomain 提供免费的域名注册、通过自定义域名服务器进行 DNS 管理，以及配套的学习资源。用户可通过托管的 Web 面板完成域名注册，无需本地部署。
vllm-project/vllm — vllm 是一个面向大语言模型的高吞吐量且具有内存效率的推理与服务引擎，适合需要高效部署 LLM 的开发者和运维团队。
tashfeenahmed/freellmapi — freellmapi 是一个将 34 个免费 LLM 提供商聚合到单一 OpenAI 兼容 /v1 端点的自托管应用，提供智能路由、自动故障转移和加密的密钥管理。
ggml-org/llama.cpp — llama.cpp 是一个纯 C/C++ 实现的 LLM 推理引擎，无任何外部依赖，支持通过整数（1.5-8-bit）量化在本地或云端硬件上运行模型推理。它提供了覆盖 CLI 交互、文本生成、模型量化与多模态处理的核心工具链。
lyogavin/airllm — airllm 是一个通过逐层加载策略降低大语言模型推理显存占用的 Python 库，使 70B 级别模型在单张约 4GB 显存的 GPU 上无需量化即可运行。其核心机制是以磁盘加载换取显存节省，因此主要适用于对吞吐量要求不高的本地环境。
supabase/supabase — supabase 是一个基于开源工具构建的后端即服务平台，以独立 Postgres 数据库为核心，为 Web、移动端及 AI 应用提供类 Firebase 的开发体验。它支持自托管，也可使用其托管的云服务。
NVIDIA/OpenShell — OpenShell 为自主 AI 代理提供受策略约束的运行环境。用户声明代理可访问的范围，OpenShell 据此限制文件、系统调用和网络连接。
BerriAI/litellm — litellm 是一个开源 AI 网关与 Python SDK，以统一的 OpenAI 格式代理对 100 多种大语言模型的调用，并提供成本追踪、负载均衡、缓存和管理面板。
Tencent/WeKnora — tencent/weknora 适合希望把分散文档转为可检索问答、智能体推理结果和结构化知识 Wiki 的团队，尤其值得评估其文档到关联 Markdown 页面与知识图谱的转换能力。选型前应先确认模型提供方、数据边界、网络访问控制和硬件需求。
walkinglabs/learn-harness-engineering — learn-harness-engineering 是一门基于项目的课程与可复用模板集合，旨在系统性地为 AI 编码代理构建可靠的工作环境（harness），使其在多会话的真实工程任务中减少对人工监督的依赖。
tensorflow/tensorflow — tensorflow/tensorflow 是面向机器学习研究与应用开发的端到端开源框架，覆盖模型构建、训练、张量运算以及多平台运行。它更适合需要代码级控制、稳定 Python 或 C++ 接口和多种部署形态的团队，而非追求零代码体验的用户。
pytorch/pytorch — pytorch 是一个面向深度学习研究与 GPU 加速张量计算的 Python 库，通过基于磁带的自动微分系统构建动态神经网络，兼顾灵活性与速度。
karpathy/autoresearch — autoresearch 是一个自主研究循环工具，由 AI agent 自动修改训练代码、执行短时实验并评估结果，用于迭代改进小型 LLM。它将实验标准化为 5 分钟固定训练预算，在单 GPU 上运行 nanochat 训练设置。
NVIDIA/SkillSpector — skillspector 是一个面向 AI agent 技能的安全扫描工具，用于在安装 agent 技能之前检测漏洞、恶意代码模式和安全风险。它支持对 Git 仓库、URL、zip 文件、目录或单个文件进行静态分析，并提供 0-100 的风险评分和建议。
langfuse/langfuse — langfuse 是一个开源的 AI 工程平台，提供 LLM 可观测性、评估、提示词管理、数据集和试验场能力，支持自托管，可通过 Docker Compose 在本地快速运行。
bojieli/ai-infra-book — ai-infra-book 是一本免费的开源书籍，共 12 章，提供多语言 PDF/EPUB/网页版本，讲解如何定量估算 LLM 推理与训练系统的资源需求。书中配套 Python 计算工具和可复现实验，可重新计算书中数字。
Lordog/dive-into-llms — dive-into-llms 是一个基于大学课程衍生的免费大语言模型（LLM）编程教程系列，提供涵盖微调、提示工程、知识编辑到 AI Agent 等主题的讲义与可执行代码。
PaddlePaddle/PaddleOCR — PaddleOCR 是一个文档解析库，旨在将非结构化的图像和 PDF 文档转换为结构化的 Markdown 或 JSON 数据，以支撑大语言模型应用。该项目提供了 0.9B 参数的轻量级视觉语言模型以及结构化解析能力。
bytedance/deer-flow — deer-flow 是一个开源的智能体框架，用于编排子智能体、记忆和沙盒来处理需要数分钟到数小时的复杂任务。该项目支持通过本地、Docker 或 Kubernetes 模式执行代码，并可通过 IM 渠道和 MCP 服务器扩展能力。
corsairdev/corsair — corsairdev/corsair 是一个用于将 AI 代理安全接入外部应用的库，提供权限层、凭据隔离和 Webhook 处理功能。代理本身无法接触 API 密钥，凭据在调用时由内部解析。
qdrant/qdrant — qdrant 是用 Rust 编写的向量相似度搜索引擎，支持稠密向量、稀疏向量、多向量搜索与 JSON 负载过滤，并提供分片与副本的横向扩展能力。内置量化可将 RAM 占用降低多达 97%，用户可在搜索速度与精度之间进行调节。
Wei-Shaw/sub2api — sub2api 是一个可自托管的 AI API 网关，用于将多个 AI 订阅额度（Claude、OpenAI、Gemini、Grok）统一分发和管理为 API 服务，提供认证、计费、负载均衡与请求转发。
QuantumNous/new-api — new-api 是一个 LLM 网关与 AI 资产管理系统，支持将 OpenAI、Claude、Gemini 等多种大模型 API 的格式进行互转，并提供用量计费与成本核算能力，支持私有部署。
opencv/opencv — opencv 是一个覆盖计算机视觉、图像处理和深度学习领域的开源函数库，定位为计算机视觉开发的基础设施。该项目以库形式提供算法集合，供开发者在本地集成使用。
binhnguyennus/awesome-scalability — awesome-scalability 是一份系统设计阅读清单，汇集了阐释可扩展、可靠且高性能系统设计原则的文章与生产级架构案例。其内容来源包含知名工程师的论述及经过实战验证的系统实践。
netdata/netdata — netdata 是一款基础设施监控工具，提供每秒一次的指标采集和零配置使用体验，在 Linux 等系统上默认资源占用较低。
agentscope-ai/agentscope — agentscope 是一个面向生产环境的多智能体 LLM 应用框架，提供细粒度权限控制、多租户服务、人在回路的抽象以及可扩展的隔离沙箱工作区。该项目旨在解决构建需要安全代码执行和工具资源管控的多智能体系统时所面临的工程复杂性。
sgl-project/sglang — sglang 是一个面向大语言模型和多模态模型的服务框架，通过 RadixAttention、零开销调度器和连续批处理等运行时特性，提供低延迟、高吞吐的推理能力，并具备多硬件平台兼容性。
superdesigndev/treg — treg 是一个工具目录与共享服务：通过一个基础 URL 和一个令牌，让 AI 代理访问数千个按调用计价的外部端点以及团队自有密钥、技能和 CLI。它面向希望代理绕开各服务的订阅、注册和凭证管理的开发者。
josephmisiti/awesome-machine-learning — awesome-machine-learning 是一份按编程语言分类整理的机器学习框架、库和软件的精选目录列表。该仓库本身只提供链接，不包含可运行的代码。
oblien/openship — openship 是一个开源、可自部署的应用部署平台，能够从代码仓库或本地文件夹自动完成应用的构建、部署、路由配置与安全保护。它提供零配置的技术栈检测与自动 TLS 证书管理，帮助用户减少在 CI/CD 与服务器运维方面的工作。
xtekky/gpt4free — gpt4free 是一个聚合多种 LLM 与媒体生成提供方的开源项目，提供本地 GUI、OpenAI 兼容 REST API 及 Python/JavaScript 客户端。它通过多提供方适配器将请求路由至不同的外部或本地服务，降低了对单一服务的依赖。
labmlai/annotated_deep_learning_paper_implementations — annotated_deep_learning_paper_implementations 是一个用 PyTorch 编写的深度学习论文与算法实现集合，所有代码均附带注释说明，并以并排版式渲染为学习笔记，旨在帮助用户更好地理解算法。
google/ax — AX 是一个以声明式方式运行智能体任务的开源框架：通过 ax.io/v1alpha1 清单定义 Task、Workspace 和 Model，由 AX 在沙箱中隔离执行并协助规模化运行。未受信任的智能体代码在带 CPU/内存限制的沙箱中运行，并可借助 kubectl 风格的 ax CLI 管理任务生命周期。

搜索

按分类找 AI 开源项目