Lightning-AI/litgpt

项目概览

litgpt 面向希望掌控大语言模型实现与运行流程的开发者，支持使用、从头预训练、微调和部署 20 多种模型。项目同时提供评测、量化和命令行对话能力。

项目类型

模型开发 · 模型运行 · 基础设施

部署方式

查看项目说明

License

Apache-2.0

适合谁

• 适合希望掌控大语言模型实现、预训练、微调和部署流程，并愿意使用命令行或 Python 库的开发者。

核心能力

• 通过命令行在自定义文本数据上从头预训练模型。
• 使用低秩适配、量化低秩适配和适配器等方法，在自定义数据集上微调预训练模型。
• 通过自动配置的网页服务器提供模型服务，并允许使用接口查询模型。
• 通过命令行在大规模多任务语言理解、真实性问答等任务上评测模型。
• 支持四位浮点、八位整数和双重量化，以降低模型的内存需求。
• 在命令行交互式对话界面中测试模型。

限制与风险

• 大型模型和训练流程需要较多显卡资源，采用前应根据目标模型与训练任务核对可用硬件。
• 扩展到例如 700 亿参数以上的模型需要多显卡集群，可能带来较高的基础设施成本，应在采用前评估集群规模与预算。

如何开始

• 先运行命令 pip install 'litgpt[extra]' 安装，再运行 litgpt chat microsoft/phi-2 启动首次模型对话。

核验依据

• GitHub 项目简介: 20+ high-performance LLMs with recipes to pretrain, finetune and deploy at scale.
• README: ✅ From scratch implementations ✅ No abstractions ✅ Beginner friendly
• README: Every LLM is implemented from scratch with **no abstractions** and **full control**, making them blazing fast, minimal, and performant at enterprise scale.
• README: ✅ **Enterprise ready -** Apache 2.0 for unlimited enterprise use.
• README: pip install 'litgpt[extra]'

内容核验时间：