microsoft/BitNet

项目概览

该项目面向 1.58-bit LLM 提供专用内核，在 CPU 和 GPU 上实现快速且无损的推理，带来大幅提速和能耗降低，使大语言模型可以在本地设备上运行；对希望降低本地推理算力与能耗门槛的开发者具有可验证的参考价值。

项目类型

模型运行

应用场景

聊天助手

部署方式

查看项目说明

License

MIT

适合谁

• 希望在 CPU 或 GPU 上本地运行 1.58-bit(三值)LLM、追求提速和能耗降低的开发者与 AI 工程师。
• 能够接受从源码构建、具备编码能力、通过命令行操作模型的用户。

核心能力

• 一套优化内核，支持在 CPU 和 GPU 上快速、无损地推理 1.58-bit 模型。
• 可对量化后的 GGUF 模型使用提示词运行推理，并可对 instruct 模型开启对话式聊天模式。
• setup_env.py 从 Hugging Face 仓库下载模型、配置环境并量化为 i2_s 或 tl1；safetensors 检查点可转换为 gguf。

限制与风险

• 对于三值模型以外的通用低 bit LLM 推理，项目方推荐使用 T-MAC。
• 构建 llama.cpp 时可能因 log.cpp 中 std::chrono 的问题而报错终止。

如何开始

• git clone --recursive https://github.com/microsoft/BitNet.git 克隆仓库；构建前需安装 Python、cmake 和 clang 工具链，并从源码编译。整体设置难度为中等。
• 运行 python setup_env.py -md models/BitNet-b1.58-2B-4T -q i2_s，从 Hugging Face 下载模型并完成环境配置与量化。
• 运行 python run_inference.py -m models/BitNet-b1.58-2B-4T/ggml-model-i2_s.gguf -p "You are a helpful assistant" -cnv 开始推理并进入对话模式。

核验依据

• GitHub 项目简介: Official inference framework for 1-bit LLMs
• README: 10/17/2024: 📣 bitnet.cpp 1.0 released.
• README: bitnet.cpp is the official inference framework for 1-bit LLMs (e.g., BitNet b1.58). It offers a suite of optimized kernels that support **fast** and **lossless** inference of 1.58…
• README: git clone --recursive https://github.com/microsoft/BitNet.git cd BitNet
• README: huggingface-cli download microsoft/BitNet-b1.58-2B-4T-gguf --local-dir models/BitNet-b1.58-2B-4T python setup_env.py -md models/BitNet-b1.58-2B-4T -q i2_s

来源更新时间：2026-10-12T20:03:46Z

打开原始 GitHub 项目