FareedKhan-dev/train-llm-from-scratch

项目概览

值得关注的具体原因是：该项目已用原生 PyTorch 打通从手写 Transformer、预训练到 SFT、奖励建模及 PPO、DPO、GRPO 的完整训练链路。

项目类型

模型运行

应用场景

学习教育

部署方式

查看项目说明

License

MIT

适合谁

• 希望绕开高级训练封装、直接理解 Transformer 和训练算法实现细节的开发者。
• 需要以端到端实践方式教授或学习数据准备、预训练、后训练和文本生成的教育者与学习者。
• 能够编写 Python 代码并具备 GPU 条件，希望研究 SFT、奖励建模或强化学习方法的开发者和研究者。

核心能力

• 当前可用。项目使用原生 PyTorch，从 MLP、注意力等小模块组装 Transformer，使用户能够阅读、修改并理解模型结构，而不是只配置高级封装。
• 当前可用。训练脚本以下一词元预测为目标，并支持 DistributedDataParallel、bf16 自动混合精度和检查点保存，帮助用户完成从训练计算到产出模型检查点的基础预训练流程。
• 当前可用。项目提供监督微调、奖励建模以及 PPO、DPO、GRPO 的实现，可用于学习指令适配、偏好学习和强化学习等后训练阶段如何衔接。
• 当前可用。生成脚本能够加载已保存的模型检查点并生成文本，用于验证训练产物是否可以进入推理和结果观察环节。
• 当前可用。项目提供文本词元化脚本，并分别准备预训练文本、SFT 指令数据、偏好数据对和强化学习提示词，让不同训练阶段获得对应的输入格式。

限制与风险

• 免费 Colab 或 Kaggle T4 可以支持 1300 万参数模型，但无法容纳十亿参数模型；若目标是更大规模训练，需要另行评估 GPU 资源。
• 项目以教学和算法实践为核心，没有被定位为生产就绪的模型服务框架，不应仅凭其文本生成功能替代生产部署方案。
• 用户需要编写或阅读代码，且训练和生成流程包含命令行交互；这会提高非技术用户或零代码团队的上手门槛。

如何开始

• 首先克隆仓库并建立 Python 环境，然后执行 `pip install -e .` 以可编辑模式安装项目。整体上手难度为中等，主要门槛是 Python 环境配置和 GPU 硬件。
• 安装完成后，可先运行数据准备脚本处理目标数据，再运行预训练脚本；如果主要验证既有训练产物，则可使用生成脚本加载检查点并生成文本。

核验依据

• GitHub 项目简介: A straightforward method for training your LLM, from downloading data to generating text.
• README: I implemented a transformer model from scratch using PyTorch, based on the paper Attention is All You Need. You can use my scripts to train your own billion or million parameter L…
• README: A Transformer looks scary as one block of code, so we build it from four small pieces and then stack them.
• README: Finally we wrap everything. Token ids become vectors through an embedding table, we add a position embedding so the model knows token order, we run the stack of blocks, normalize…
• README: Pretraining is the long pole. We read random windows of tokens, ask the model to predict the next token at every position, measure how wrong it was with cross-entropy, and nudge t…

内容核验时间：