按分类找 AI 开源项目

评测观测

浏览当前公开快照中“评测观测”相关的 AI 开源项目，并查看许可证、部署、适用场景、限制和核验来源。

ifixai-ai/iFixAi — ifixai 是一个面向 AI 代理的对齐风险检测工具，通过运行多项检查来发现捏造、操纵、欺骗、不可预测和不透明等盲点，并在 5 分钟内生成可引用的 A-F 字母评级。
BerriAI/litellm — litellm 是一个开源 AI 网关与 Python SDK，以统一的 OpenAI 格式代理对 100 多种大语言模型的调用，并提供成本追踪、负载均衡、缓存和管理面板。
NVIDIA/SkillSpector — skillspector 是一个面向 AI agent 技能的安全扫描工具，用于在安装 agent 技能之前检测漏洞、恶意代码模式和安全风险。它支持对 Git 仓库、URL、zip 文件、目录或单个文件进行静态分析，并提供 0-100 的风险评分和建议。
langfuse/langfuse — langfuse 是一个开源的 AI 工程平台，提供 LLM 可观测性、评估、提示词管理、数据集和试验场能力，支持自托管，可通过 Docker Compose 在本地快速运行。
unslothai/unsloth — unsloth 是一个支持通过 Web UI 和代码库在本地运行与训练文本、音频、嵌入及视觉模型的应用，旨在以更快的速度和更低的显存占用完成大模型任务。它同时提供数据集自动构建、模型导出和训练过程监控等支持性能力。
mlabonne/llm-course — llm-course 是一份免费的结构化教程，涵盖从 LLM 基础理论到应用部署的完整学习路径，分为 LLM Fundamentals、LLM Scientist 和 LLM Engineer 三个模块，并配有可交互的 Colab 笔记本。
ApodexAI/FrontierAgent — FrontierAgent 是一个开源的智能体运行时、终端产品和评测套件，覆盖长程研究与基于文件的智能体工作所需的一体化工具链。它在 macOS 和 Linux 上可通过一条命令安装，无需预装依赖，也不强制依赖 Docker。
alirezarezvani/claude-skills — claude-skills 是一个面向 AI 编程工具的可复用技能、智能体与角色库，涵盖 18 个领域的 358 个专业知识包，旨在为多种编程助手补充特定领域的专业能力。它支持通过插件命令或转换脚本接入多种 AI 编程工具，不需要 GPU 且不依赖付费服务。
netdata/netdata — netdata 是一款基础设施监控工具，提供每秒一次的指标采集和零配置使用体验，在 Linux 等系统上默认资源占用较低。
agno-agi/agno — agno 是一个自我改进的智能体平台，用于构建智能体、将其作为持久服务运行，并随使用不断改进。平台可在你自己的云中运行，数据由你掌控。
FailproofAI/failproofai — failproofai 通过钩子接入 12 种 AI agent 运行框架，在危险工具调用执行前加以拦截，内置 40 条策略并在本地运行。
promptfoo/promptfoo — promptfoo 是一个面向开发者的声明式 LLM 测试、自动化评估与红队安全扫描工具，旨在替代手工试错流程。它以本地 CLI 运行为核心，支持在 CI/CD 流水线中自动化检测提示词、模型及 RAG 系统的回归与安全问题。
Tracer-Cloud/opensre — OpenSRE 是一个开源的 AI SRE 代理框架，用于在用户自己的基础设施上解决生产事故，可连接 60+ 现有工具并支持自定义工作流。它同时提供面向代理式基础设施事故响应的开源强化学习环境和端到端测试。
steipete/CodexBar — steipete/codexbar 是一个 macOS 14+ 菜单栏应用，旨在无需直接登录的情况下显示 OpenAI Codex 和 Claude Code 的使用量统计，并在菜单栏中展示额度限制及重置倒计时。
Arize-ai/phoenix — phoenix 是一款用于 LLM 应用的开源 AI 可观测性平台，提供基于 OpenTelemetry 的追踪、评估、实验和数据集管理功能。它帮助 AI 工程师在缺乏专用平台的情况下，进行实验、评估和排查 LLM 应用问题。
comet-ml/opik — opik 为生成式 AI 应用、RAG 系统和智能体工作流提供链路追踪、自动化评估和生产监控仪表板，支持从原型到生产的完整生命周期。
pydantic/pydantic-ai — pydantic-ai 是一个 Python Agent 框架，通过 Pydantic 验证提供类型安全和结构化输出，并支持多种外部大语言模型。该项目由 Pydantic 团队开发，旨在提供模型无关、类型安全的代理程序构建方式。
mlflow/mlflow — mlflow/mlflow 将大语言模型与智能体的追踪、评估、提示词管理、模型网关能力，与传统机器学习的实验追踪、模型注册和部署放在同一平台中。适合希望统一管理人工智能应用与机器学习模型生命周期的团队，但选型前仍需核实数据边界、遥测、资源和外部服务成本要求。
aishwaryanr/awesome-generative-ai-guide — awesome-generative-ai-guide 是一个围绕用户目标（使用、构建、理解、面试）和主题来组织生成式 AI 研究资料、课程与工具的综合性导航中心。该项目将海量静态资源梳理为结构化的学习路径与面试准备库，适合需要系统化获取生成式 AI 资料的用户。
SigNoz/signoz — SigNoz 是一个开源可观测性平台，基于 OpenTelemetry 标准将日志、指标、链路追踪、告警和仪表盘整合在一个平台中，并提供可预测的定价方式。
confident-ai/deepeval — deepeval 是一个类似于 Pytest 的开源大语言模型评估框架，专门用于对 LLM 应用进行单元测试，以评估系统质量并防止 Prompt 漂移。它通过提供一系列现成的指标，帮助开发者在输入数据集后输出量化的指标分数。
semantica-agi/semantica — semantica 是一个面向开发者的开源知识基础设施库，通过 Python 安装即可在本地自托管运行。它摄入企业数据、构建 Context Graph 与知识图谱，并以确定性、可解释的方式执行图分析和因果推理，全程保留决策溯源。
microsoft/promptflow — promptflow 是一套面向 LLM 应用的开发工具集，覆盖从原型设计、测试评估到生产部署的完整开发周期。它通过将 LLM、提示词和 Python 代码链接为可执行流程，辅助保障应用的生产质量。
vibrantlabsai/ragas — ragas 是一个用于评估和优化 LLM 应用的开源库，通过客观指标、测试集生成和数据驱动的洞察，替代耗时的主观人工评估。项目支持通过 Python 库集成到现有工作流中，并提供了快速入门模板。

搜索

按分类找 AI 开源项目