bitsandbytes-foundation/bitsandbytes

项目概览

该库提供的 LLM.int8() 方法可在将内存占用减半的条件下进行大语言模型推理，且项目自述称不产生性能下降，为硬件资源有限的用户提供了实际可行的量化路径。

项目类型

模型开发 · 模型运行

部署方式

查看项目说明

License

MIT

适合谁

• 需要在有限硬件资源下对 PyTorch 模型进行推理或训练的 AI 工程师、研究员和开发者。

核心能力

• 使用分块量化技术，以远低于常规水平的内存开销维持 32-bit 优化器的性能水平。
• 通过向量级量化和针对异常值的 16-bit 矩阵乘法，以一半内存运行大语言模型推理，项目自述称不产生性能下降。
• 将模型量化到 4-bit，并插入少量可训练的低秩适配（LoRA）权重，结合多种内存节省技术来支持大语言模型训练。
• 通过 bitsandbytes.nn.Linear8bitLt 和 bitsandbytes.nn.Linear4bit 模块提供 8-bit 与 4-bit 运算的量化基础组件。

限制与风险

• 用于 Apple MPS（Metal）的 8-bit 优化器目前仍在开发中，尚未提供。

如何开始

• 安装步骤简单，可通过 Python 包管理器 pip 完成安装后使用。

核验依据

• README: bitsandbytes enables accessible large language models via k-bit quantization for PyTorch. We provide three main features for dramatically reducing memory consumption for inference…
• README: The continued maintenance and development of bitsandbytes is made possible thanks to the generous support of our sponsors.
• Release: 0.49.2
• README: 🤗 Transformers
• README: bitsandbytes has the following minimum requirements for all platforms: * Python 3.10+ * PyTorch 2.4+

内容核验时间：