EricLBuehler/mistral.rs

项目概览

mistral.rs 是一个快速、灵活的大语言模型推理引擎，支持多模型、多量化格式与多硬件，并提供 OpenAI 和 Anthropic 兼容的 API 服务。它具备多模态处理能力与智能量化功能，可通过预编译二进制文件直接运行。

项目类型

AI Agent · 模型运行

应用场景

聊天助手 · 自动化执行

部署方式

查看项目说明

License

MIT

适合谁

• 需要在本地或自托管环境中运行多种 Hugging Face 模型并对外提供 API 服务的开发者
• 希望通过 Python SDK 在进程内完成推理、无需部署服务器的开发者
• 需要对模型性能进行基准测量的研究人员

核心能力

• 暴露 OpenAI 兼容的 /v1 端点和 Anthropic 兼容的 /v1/messages 端点。
• 通过 Process、HTTP 或 WebSocket 方式连接外部工具。
• 提供 bench 命令用于测量性能。
• 支持从 Python 进程内加载模型并发送 OpenAI 格式的请求，无需启动服务器。

限制与风险

• 引擎支持的模型由其加载器注册表明确决定，不在注册表中的模型无法使用。

如何开始

• 难度较低：通过安装脚本获取预编译二进制文件，或通过 pip 安装 Python SDK，或使用 Docker 镜像；首次成功运行命令为 mistralrs run -m user/model。

核验依据

• GitHub 项目简介: Fast, flexible LLM inference
• Release: v0.9.0
• README: Anthropic Messages API: `mistralrs serve` now exposes Anthropic-compatible `/v1/messages` and `/v1/messages/count_tokens` endpoints alongside the OpenAI-compatible `/v1` API.
• README: v0.8.2 CUDA performance: CUDA graphs, FlashInfer paged kernels, and MoE optimizations deliver strong results on GB10, B200, and H100 SXM.
• README: Agentic runtime: web search, local Python code execution, shell execution, OpenAI-compatible Skills, session management, and custom tool hooks.

内容核验时间：