open-compass/opencompass

项目概览

项目公开声明可在数小时内完成十亿参数级模型的完整评测，若需大规模快速横向对比模型，值得关注。

项目类型

AI Agent · 模型开发 · 评测观测

部署方式

查看项目说明

License

Apache-2.0

适合谁

• 需要进行大语言模型多维度、可复现基准评测的研究员与 AI 工程师。

核心能力

• 做什么：评估模型多维度能力。如何工作：使用 70+ 数据集约 40 万道题目进行测试。用户价值：提供丰富的现成题库支撑全面评测。状态：available。
• 做什么：加速大规模模型评测。如何工作：实施任务划分与分布式评测。用户价值：项目声明可在数小时内完成十亿参数级模型完整评测。状态：available。
• 做什么：提供大模型评审评估机制。如何工作：通过 GenericLLMEvaluator 实现 LLM-as-judge 评估。用户价值：支持使用模型对生成结果进行评判。状态：available。
• 做什么：支持切换推理加速后端。如何工作：支持切换至 LMDeploy 和 vLLM 等后端。用户价值：在评测推理阶段可选用加速后端。状态：available。
• 做什么：评估 API 模型。如何工作：允许以相同方式评估开源与 API 模型。用户价值：无需因接入方式不同而区分评测流程。状态：available。
• 做什么：支持各类智能体框架。如何工作：支持接入多种智能体框架进行评测。用户价值：未来可评估智能体框架表现。状态：planned。

限制与风险

• 现有文档未明确记录 GPU 需求，用户需根据模型规模自行评估硬件资源。
• 由于支持评测 API 模型，数据边界涉及外部调用是可选项，用户需自行注意数据外发风险。

如何开始

• 上手难度中等，需创建 conda 环境，通过 pip 安装，手动或自动下载数据集后即可运行评测。

核验依据

• GitHub 项目简介: OpenCompass is an LLM evaluation platform, supporting a wide range of models (Llama3, Mistral, InternLM2,GPT-4,LLaMa2, Qwen,GLM, Claude, etc) over 100+ datasets.
• README: OpenCompass will guide you through the complex landscape of evaluating large language models. With its powerful algorithms and intuitive interface, OpenCompass makes it easy to as…
• README: OpenCompass is a one-stop platform for large model evaluation, aiming to provide a fair, open, and reproducible benchmark for large model evaluation.
• README: We are delighted to announce that **the OpenCompass has been recommended by the Meta AI**, click [Get Started](https://ai.meta.com/llama/get-started/#validation) of Llama for more…
• README: CompassHub presents a pioneering benchmark browser interface, designed to simplify and expedite the exploration and utilization of an extensive array of benchmarks for researchers…

内容核验时间：