LlamaChinese/Llama-Chinese

项目概览

项目提供了从预训练代码、LoRA与全参数微调到Gradio问答界面和OpenAI兼容推理接口的完整代码与文档，为开发者提升大语言模型的中文能力提供了可复现的路径。

项目类型

模型开发 · 模型运行

应用场景

聊天助手

部署方式

查看项目说明

License

License 待确认

适合谁

• 希望在本地使用或微调中文大语言模型的开发者。
• 需要学习中文语料预训练流程的研究人员。

核心能力

• 提供 Llama 模型的预训练代码及中文测试语料，用于面向学习的训练流程。
• 提供用于模型 LoRA 微调和全参数微调的代码。
• 包含基于 Gradio 的问答界面，支持所选模型的流式输出。
• 文档说明如何使用 FastChat 构建具有 OpenAI 兼容接口的推理服务。

限制与风险

• LoRA 参数必须与基础模型参数一同使用。
• 大规模中文语料预训练需要大规模高质量中文数据和大规模计算资源，成本较高。

核验依据

• README: Atom系列模型包含Atom-13B、Atom-7B和Atom-1B，基于Llama2做了中文能力的持续优化。
• README: Llama2的预训练数据相对于第一代LLaMA扩大了一倍，但是中文预训练数据的比例依然非常少，仅占0.13%，这也导致了原始Llama2的中文能力较弱。
• README: Atom-7B和Atom-7B-Chat目前已完全开源，支持商用，可在[Hugging Face](https://huggingface.co/FlagAlpha)仓库获取模型，详情见[Atom-7B下载](#基于llama2的中文预训练模型atom)。
• README: 我们为社区提供了Llama模型的预训练代码，以及[中文测试语料](https://github.com/LlamaFamily/Llama-Chinese/tree/main/data)，更多数据可以参考[中文语料](#-中文数据)。
• README: 本仓库中同时提供了LoRA微调和全量参数微调代码，关于LoRA的详细介绍可以参考论文“[LoRA: Low-Rank Adaptation of Large Language Models](https://arxiv.org/abs/2106.09685)”以及微软Github仓库[LoRA](https://github.com/microsoft/L…

内容核验时间：