ggml-org/ggml

项目概览

该库在文档中声明无第三方依赖且运行时零内存分配，同时涵盖广泛硬件支持与整数量化能力，为需要在底层进行机器学习张量计算的开发者提供了轻量级选择。

项目类型

模型运行 · 基础设施

部署方式

查看项目说明

License

MIT

适合谁

• 需要在底层进行机器学习张量计算、并要求跨平台支持与整数量化的开发者。

核心能力

• 提供一个旨在跨平台工作的机器学习张量运算低层级实现。
• 为机器学习工作负载提供整数量化支持。
• 文档记录了对广泛硬件范围的支持。
• 为机器学习计算提供自动微分。
• 包含 ADAM 和 L-BFGS 优化器。
• 文档记录了运行时零内存分配。
• 附带一个示例程序，记录了下载 GPT-2 small 117M 模型并使用提示词调用 GPT-2 后端的过程。

限制与风险

• 该项目正处于活跃开发阶段。

如何开始

• 克隆仓库后，创建构建目录并使用 CMake 进行配置，然后使用 CMake 构建示例。

核验依据

• GitHub 项目简介: Tensor library for machine learning
• README: - Low-level cross-platform implementation - Integer quantization support - Broad hardware support - Automatic differentiation - ADAM and L-BFGS optimizers - No third-party depende…
• README: git clone https://github.com/ggml-org/ggml cd ggml
• README: python3.10 -m venv .venv source .venv/bin/activate pip install -r requirements.txt
• README: mkdir build && cd build cmake .. cmake --build . --config Release -j 8

来源更新时间：2026-08-01T18:17:42Z

打开原始 GitHub 项目