基础设施 开源项目

当前展示 40 个可索引项目。

• usestrix/strix

  strix 提供自主 AI 渗透测试代理，能够动态运行代码并使用真实的 PoC 验证漏洞，从而减少传统静态分析产生的误报。该项目支持通过本地代码库或 Web URL 进行自动化安全测试。

• diegosouzapw/OmniRoute

  omniroute 是一个聚合 250+ AI 提供商的免费 AI 网关，通过单一端点统一请求路由并提供自动故障转移。它叠加 RTK 与 Caveman 引擎进行 Token 压缩，据项目描述可节省 15-95% 的 Token 消耗。

• openai/whisper

  whisper 是一个基于大规模弱监督训练的通用语音识别模型，可通过单一模型完成多语言语音识别、语音翻译和语言辨识。它以多任务序列到序列方式替代传统语音处理流水线中的多个独立阶段。

• tensorflow/tensorflow

  tensorflow/tensorflow 是面向机器学习研究与应用开发的端到端开源框架，覆盖模型构建、训练、张量运算以及多平台运行。它更适合需要代码级控制、稳定 Python 或 C++ 接口和多种部署形态的团队，而非追求零代码体验的用户。

• vllm-project/vllm

  vllm 是一个面向大语言模型的高吞吐量且具有内存效率的推理与服务引擎，适合需要高效部署 LLM 的开发者和运维团队。

• ggml-org/llama.cpp

  llama.cpp 是一个纯 C/C++ 实现的 LLM 推理引擎，无任何外部依赖，支持通过整数（1.5-8-bit）量化在本地或云端硬件上运行模型推理。它提供了覆盖 CLI 交互、文本生成、模型量化与多模态处理的核心工具链。

• BerriAI/litellm

  litellm 是一个开源 AI 网关与 Python SDK，以统一的 OpenAI 格式代理对 100 多种大语言模型的调用，并提供成本追踪、负载均衡、缓存和管理面板。

• supabase/supabase

  supabase 是一个基于开源工具构建的后端即服务平台，以独立 Postgres 数据库为核心，为 Web、移动端及 AI 应用提供类 Firebase 的开发体验。它支持自托管，也可使用其托管的云服务。

• pytorch/pytorch

  pytorch 是一个面向深度学习研究与 GPU 加速张量计算的 Python 库，通过基于磁带的自动微分系统构建动态神经网络，兼顾灵活性与速度。

• qdrant/qdrant

  qdrant 是用 Rust 编写的向量相似度搜索引擎，支持稠密向量、稀疏向量、多向量搜索与 JSON 负载过滤，并提供分片与副本的横向扩展能力。内置量化可将 RAM 占用降低多达 97%，用户可在搜索速度与精度之间进行调节。

• langfuse/langfuse

  langfuse 是一个开源的 AI 工程平台，提供 LLM 可观测性、评估、提示词管理、数据集和试验场能力，支持自托管，可通过 Docker Compose 在本地快速运行。

• codecrafters-io/build-your-own-x

  build-your-own-x 是一个精选的教程链接汇编仓库，汇集了大量指导开发者从零开始重建数据库、操作系统、神经网络等流行技术的分步学习资源。

• karpathy/autoresearch

  autoresearch 是一个自主研究循环工具，由 AI agent 自动修改训练代码、执行短时实验并评估结果，用于迭代改进小型 LLM。它将实验标准化为 5 分钟固定训练预算，在单 GPU 上运行 nanochat 训练设置。

• opencv/opencv

  opencv 是一个覆盖计算机视觉、图像处理和深度学习领域的开源函数库，定位为计算机视觉开发的基础设施。该项目以库形式提供算法集合，供开发者在本地集成使用。

• PaddlePaddle/PaddleOCR

  PaddleOCR 是一个文档解析库，旨在将非结构化的图像和 PDF 文档转换为结构化的 Markdown 或 JSON 数据，以支撑大语言模型应用。该项目提供了 0.9B 参数的轻量级视觉语言模型以及结构化解析能力。

• earendil-works/pi

  pi 面向需要在终端使用编码代理或开发自定义代理的开发者，将多家大模型服务的统一调用接口、支持工具调用的代理运行时和交互式编码代理命令行界面放在同一项目中。选型前需要确认外部模型服务、接口费用与执行权限隔离方案。

• netdata/netdata

  netdata 是一款基础设施监控工具，提供每秒一次的指标采集和零配置使用体验，在 Linux 等系统上默认资源占用较低。

• bytedance/deer-flow

  deer-flow 是一个开源的智能体框架，用于编排子智能体、记忆和沙盒来处理需要数分钟到数小时的复杂任务。该项目支持通过本地、Docker 或 Kubernetes 模式执行代码，并可通过 IM 渠道和 MCP 服务器扩展能力。

• josephmisiti/awesome-machine-learning

  awesome-machine-learning 是一份按编程语言分类整理的机器学习框架、库和软件的精选目录列表。该仓库本身只提供链接，不包含可运行的代码。

• binhnguyennus/awesome-scalability

  awesome-scalability 是一份系统设计阅读清单，汇集了阐释可扩展、可靠且高性能系统设计原则的文章与生产级架构案例。其内容来源包含知名工程师的论述及经过实战验证的系统实践。

• OpenBB-finance/OpenBB

  openbb-finance/openbb 是一个面向金融数据的接入与分发基础设施层，采用"一次接入，处处消费"架构，将专有数据、授权数据和公开数据源统一暴露给 Python 环境、OpenBB Workspace、面向 AI 智能体的 MCP 服务器及 REST API 等多种下游消费端。

• labmlai/annotated_deep_learning_paper_implementations

  annotated_deep_learning_paper_implementations 是一个用 PyTorch 编写的深度学习论文与算法实现集合，所有代码均附带注释说明，并以并排版式渲染为学习笔记，旨在帮助用户更好地理解算法。

• xtekky/gpt4free

  gpt4free 是一个聚合多种 LLM 与媒体生成提供方的开源项目，提供本地 GUI、OpenAI 兼容 REST API 及 Python/JavaScript 客户端。它通过多提供方适配器将请求路由至不同的外部或本地服务，降低了对单一服务的依赖。

• songquanpeng/one-api

  one-api 将多个 LLM 提供商的访问统一到标准 OpenAI API 格式之下，提供密钥管理与二次分发能力。它通过多渠道路由分发请求，帮助开发者和团队统一接口调用。

• tldraw/tldraw

  tldraw 是一个面向 React 的无限画布 SDK，用于构建白板、图表和绘图应用。它提供可扩展的画布基础组件与运行时 API，并支持通过 @tldraw/sync 包实现多人实时协作。

• JuliaLang/julia

  julialang/julia 是一门动态编程语言，设计目标是将易用性与数值及科学计算所需的高性能结合。它面向技术计算场景，提供命令行交互式提示符与可执行程序构建方式。

• Lordog/dive-into-llms

  dive-into-llms 是一个基于大学课程衍生的免费大语言模型（LLM）编程教程系列，提供涵盖微调、提示工程、知识编辑到 AI Agent 等主题的讲义与可执行代码。

• apache/airflow

  apache/airflow 是一个用于以代码方式编写、调度和监控工作流与数据管道的平台。它以 DAG 形式定义工作流，配套提供可视化、监控和问题排查的 Web 界面。

• Kong/kong

  kong 是一个云原生、平台无关且可扩展的网关，通过插件系统提供扩展性。它集中处理 API、LLM 和 MCP 流量，为微服务架构提供统一的编排与代理层。

• QuantumNous/new-api

  new-api 是一个 LLM 网关与 AI 资产管理系统，支持将 OpenAI、Claude、Gemini 等多种大模型 API 的格式进行互转，并提供用量计费与成本核算能力，支持私有部署。

• ray-project/ray

  ray 是一个统一的 Python 与 AI 应用分布式框架，旨在将计算密集型机器学习负载从单机开发环境扩展到集群。它提供无状态任务、有状态 Actor 和不可变对象的分布式抽象。

• deepspeedai/DeepSpeed

  deepspeed 面向需要扩展大模型训练与推理的 PyTorch 开发者，通过 ZeRO、ZeRO-Infinity、3D 并行和 Ulysses 序列并行等系统优化降低分布式计算的工程复杂度。它适合具备代码、编译工具链和环境排障能力的团队，不是面向非技术用户的开箱即用应用。

• agno-agi/agno

  agno-agi/agno 提供一个框架和运行时，用于构建智能体、以服务方式运行智能体，并通过 Web UI 管理整个平台。

• hpcaitech/ColossalAI

  colossalai 提供一组并行组件，开发者可以像在笔记本电脑上编写模型一样编写分布式深度学习模型，旨在克服大模型训练和推理的硬件与成本瓶颈。

• pingcap/tidb

  pingcap/tidb 是面向事务、分析与向量检索混合需求的分布式 SQL 数据库，提供横向扩展、强一致性、MySQL 兼容性和 HTAP 能力。若团队希望减少多类数据基础设施的分散建设，同时保留自托管与托管服务两种选择，可将其纳入评估。

• heygen-com/hyperframes

  hyperframes 是一个将 HTML/CSS 和可寻址动画编程式渲染为确定性 MP4 视频的框架，专为自动化流水线和 AI 智能体设计。它无需构建步骤，且无按次渲染费用。

• google-ai-edge/mediapipe

  mediapipe 提供跨平台库与框架，用于在设备端直接应用、定制和部署机器学习解决方案，输入数据无需发送至外部服务器。该项目支持 Android、iOS、Web、Python 和 C++ 平台集成。

• 1Panel-dev/1Panel

  1panel-dev/1panel 是一款开源的 Linux VPS 控制面板，提供 Web 图形界面用于管理服务器、部署网站及管理 Docker 容器，并集成了 AI 智能体运行时能力。用户无需记住 CLI 命令即可完成服务器和容器栈的日常管理工作。

• musistudio/claude-code-router

  musistudio/claude-code-router 是一个本地控制平面，提供单一且稳定的本地端点，用于在多个编码代理和提供商之间管理配置、模型、路由规则和工具。它旨在应对在多个代理和提供商之间切换模型时独立维护配置容易中断的问题。

• Arize-ai/phoenix

  phoenix 是一款用于 LLM 应用的开源 AI 可观测性平台，提供基于 OpenTelemetry 的追踪、评估、实验和数据集管理功能。它帮助 AI 工程师在缺乏专用平台的情况下，进行实验、评估和排查 LLM 应用问题。