ggml-org/ggml

项目概览

ggml 是一个面向机器学习的低层级跨平台张量库，不依赖第三方组件，支持通过整数量化、自动微分以及内置优化器进行模型推理与训练。

项目类型

模型运行 · 基础设施

应用场景

聊天助手

部署方式

查看项目说明

License

MIT

适合谁

• 具备 C++ 编译能力、需要在本地通过命令行构建并使用张量库进行机器学习推理或训练的开发者。

核心能力

• 提供低层级的跨平台张量操作支持。
• 提供整数量化支持，用于优化模型运行。
• 支持多种硬件目标。
• 提供自动微分机制，用于模型训练。
• 提供 ADAM 和 L-BFGS 优化器，用于模型训练。
• 在推理和运行时执行过程中不进行动态内存分配。
• 提供用于运行 GPT-2 模型推理的示例程序。

限制与风险

• 该项目仍在积极开发过程中。

如何开始

• 需要使用标准终端和编译工具从源码构建 C++ 代码；具体步骤为克隆仓库、进入目录、创建 build 文件夹、运行 cmake 和 cmake --build。

核验依据

• README: Tensor library for machine learning ***Note that this project is under active development. \ Some of the development is currently happening in the [llama.cpp](https://github.com/g…
• README: - Low-level cross-platform implementation - Integer quantization support - Broad hardware support - Automatic differentiation - ADAM and L-BFGS optimizers - No third-party depende…
• README: git clone https://github.com/ggml-org/ggml cd ggml
• README: python3.10 -m venv .venv source .venv/bin/activate pip install -r requirements.txt
• README: mkdir build && cd build cmake .. cmake --build . --config Release -j 8

内容核验时间：