ymcui/Chinese-LLaMA-Alpaca

项目概览

chinese-llama-alpaca 在原始 LLaMA 词表基础上扩充中文字符，提供开源的中文 LLaMA 与 Alpaca 模型 LoRA 权重、训练脚本和本地部署工具，用于改善中文语义理解与指令跟随能力。

项目类型

模型开发 · 模型运行

应用场景

聊天助手 · 知识问答

部署方式

查看项目说明

License

Apache-2.0

适合谁

• 需要改善中文语义理解与指令跟随效果的研究者和开发者
• 希望在本地环境中部署和量化运行中文 LLaMA / Alpaca 模型的使用者

核心能力

• 在原始 LLaMA 词表中扩充中文字符，以改善中文编码和解码效率。
• 以 LoRA 权重形式分发预训练和指令微调模型；该权重不能独立使用，须与原始 LLaMA 模型合并。
• 提供分词器合并、预训练和指令微调的开源脚本，允许使用者进一步训练模型。
• 提供用于本地 CPU/GPU 量化和部署的脚本及说明，支持在笔记本电脑和个人电脑上运行。
• 提供一个基于 Gradio 的 Web 演示脚本，支持 Alpaca 模型的多轮对话。
• 提供一个模拟 OpenAI API 接口的服务端演示。

限制与风险

• 分发的权重为 LoRA 补丁，不能单独使用，必须与原始 LLaMA 模型合并后才能运行。
• 受底层 LLaMA 许可协议限制，严格禁止用于商业用途。
• 受算力和数据限制，模型训练深度不足，中文理解能力仍需进一步改善。
• 目前未提供可交互的在线演示。
• 模型可能生成不可预测的有害内容，或生成与人类偏好不一致的内容；使用前需评估此风险。
• 模型输出受计算、随机性和量化精度损失影响，项目方不提供准确性保证。

如何开始

• 整体难度为中等。使用者需先申请获取原始 LLaMA 权重，从 Hugging Face 下载 LoRA 权重，使用提供的脚本进行合并，对模型进行量化（如 4-bit），再通过 llama.cpp 或 transformers 运行推理。

核验依据

• README: 本项目开源了**中文LLaMA模型和指令精调的Alpaca大模型**，以进一步促进大模型在中文NLP社区的开放研究。这些模型**在原版LLaMA的基础上扩充了中文词表**并使用了中文数据进行二次预训练，进一步提升了中文基础语义理解能力。同时，中文Alpaca模型进一步使用了中文指令数据进行精调，显著提升了模型对指令的理解和执行能力。
• README: 目前已开源的模型版本：7B（基础版、**Plus版**、**Pro版**）、13B（基础版、**Plus版**、**Pro版**）、33B（基础版、**Plus版**、**Pro版**）
• README: 🚀 开源了预训练脚本、指令精调脚本，用户可根据需要进一步训练模型
• README: 发布Alpaca-Pro系列模型，显著提升回复长度和质量；同时发布Plus-33B系列模型。
• README: 这里发布的是LoRA权重，可以理解为原LLaMA模型上的一个“补丁”，两者合并即可获得完整版权重。

内容核验时间：