ggml-org/llama.cpp

项目概览

基于纯 C/C++ 零依赖实现，支持 1.5-bit 到 8-bit 多档位整数量化与 GGUF 模型格式，适合关注资源受限与跨硬件部署的选型评估。

项目类型

模型运行 · 基础设施

应用场景

聊天助手

部署方式

查看项目说明

License

MIT

适合谁

• 需要在不依赖外部付费服务的前提下，于本地运行 LLM 推理任务的开发者。
• 需要灵活调用方式，并希望在 CLI、API 或代码库模式间切换的工程师。

核心能力

• 提供名为 llama-cli 的工具访问并实验大部分功能，包含对话模式和文本补全。
• 提供工具将模型转换并量化为更小体积，使用 1.5-bit 到 8-bit 整数量化以降低内存消耗。
• 提供名为 llama-perplexity 的工具，用于测量模型在给定文本上的困惑度及其他质量指标。
• 提供名为 llama-bench 的工具，针对不同推理参数进行性能基准测试。
• 支持多模态模型，允许在处理文本的同时处理图像输入。
• 允许使用自定义语法 (GBNF) 约束模型输出，以强制生成如 JSON 等特定格式的内容。
• 可通过 API 服务器使用特定端点，提供嵌入和重排模型服务。

限制与风险

• 要求被加载的模型必须存储为 GGUF 文件格式。

如何开始

• 安装难度较低，支持通过包管理器安装或直接下载预编译二进制文件，获取 GGUF 模型后即可运行 llama-cli 进行推理。

核验依据

• GitHub 项目简介: LLM inference in C/C++
• Release: b10025
• README: The main goal of `llama.cpp` is to enable LLM inference with minimal setup and state-of-the-art performance on a wide range of hardware - locally and in the cloud.
• README: Multimodal support arrived in `llama-server`: #12898 | documentation
• README: Run with Docker - see our Docker documentation

内容核验时间：