ymcui/Chinese-LLaMA-Alpaca-2

项目概览

ymcui/chinese-llama-alpaca-2 通过优化的中文词表和 FlashAttention-2 训练，增强了 Llama-2 对中文的理解能力。该系列开源模型还结合长上下文扩展和量化技术，支持本地化部署运行。

项目类型

模型运行

应用场景

聊天助手

部署方式

查看项目说明

License

Apache-2.0

适合谁

• 寻找可在本地运行且具备扩展上下文能力的中文 Llama-2 模型的 AI 工程师和开发者。

核心能力

• 重新设计了大小为 55,296 的中文词表，以提高中文文本的编码/解码效率和覆盖率。
• 所有模型均采用 FlashAttention-2 进行训练，实现更快的速度和更好的内存利用率。
• 使用 PI 和 YaRN 技术，提供 16K 和 64K 上下文长度的模型版本。
• Alpaca-2-RLHF 系列模型通过 RLHF 进行微调，以改善价值对齐。
• 提供兼容 llama.cpp 和 transformers 等框架的 GGUF (imatrix) 和 AWQ 量化模型。
• 使用 1.3B 模型作为草稿模型，以加速 7B/13B 目标模型的推理过程。
• 提供预训练和指令微调脚本，用于进一步的模型训练。

限制与风险

• 标准模型仅支持 4K 上下文长度，需使用长上下文版本才能支持 16K/64K。
• LoRA 模型无法直接使用，必须与原始 Llama-2 模型进行合并。
• 不建议单独使用 1.3B 模型，应通过推测式采样将其与更大的模型配合使用。
• 可能生成不可预测的有害内容或与人类偏好不一致的内容。
• 由于算力和数据限制，训练可能不够充分，中文理解能力仍有待进一步提升。

如何开始

• 下载完整模型或 LoRA 权重（若使用 LoRA，需先与原始 Llama-2 模型合并），选择部署框架（如 llama.cpp），按需量化模型（如 4-bit），最后在本地 CPU 或 GPU 上运行。

核验依据

• README: 开源了**中文LLaMA-2基座模型和Alpaca-2指令精调大模型**。这些模型**在原版Llama-2的基础上扩充并优化了中文词表**，使用了大规模中文数据进行增量预训练，进一步提升了中文基础语义和指令理解能力
• README: 支持[🤗transformers](https://github.com/huggingface/transformers), [llama.cpp](https://github.com/ggerganov/llama.cpp), [text-generation-webui](https://github.com/oobabooga/text-gene…
• README: Chinese-LLaMA-Alpaca-3 已正式发布，开源基于Llama-3的Llama-3-Chinese-8B和Llama-3-Chinese-8B-Instruct，推荐所有一期、二期项目用户升级至三代模型
• Release: 中文羊驼大模型二期 v4.1
• README: 基座模型（4K上下文）：Chinese-LLaMA-2 (1.3B, 7B, 13B) - 聊天模型（4K上下文）：Chinese-Alpaca-2 (1.3B, 7B, 13B) - 长上下文模型（16K/64K）：

内容核验时间：