项目核验档案

FareedKhan-dev/train-llm-from-scratch

fareedkhan-dev/train-llm-from-scratch 是一个教程型项目，提供仅使用纯 PyTorch 从零开始构建并训练大语言模型（LLM）的端到端方法与教育性代码。该项目展示了从数据准备、预训练到对齐与对话的 LLM 训练全生命周期。

项目概览

该项目最具价值的关注点在于其不依赖 trl、peft 或 transformers 等高级库，而是使用纯 PyTorch 手写了包括 MLP、注意力机制在内的所有底层算法，为深入理解 LLM 的底层运行机制提供了透明的代码实现。

该项目不使用 trl、peft 或 transformers 等高级库，而是在纯 PyTorch 中从小部件（如 MLP、注意力机制、网络块）开始构建 Transformer 模型。
实现了预训练循环，通过预测下一个 token 来训练基础模型，代码中包含了 DistributedDataParallel 和梯度累积的实现。
实现了将基础模型转化为助手模型的训练后技术，包括 SFT（监督微调）、奖励模型训练以及对齐方法。
提供了用于从训练好的模型检查点中通过预测下一个 token 来生成文本的脚本。
内置了一个 Streamlit 控制面板，允许用户与训练好的模型进行对话交互。
提供了用于下载、分词和准备数据流的脚本，这些数据流可用于预训练、SFT、偏好数据以及强化学习提示。
包含了用于评估已训练模型的步骤和脚本。

上手的难度为中等，需要克隆代码仓库、安装 Python 软件包，并理解配置系统及 GPU 要求。建议的成功路径是：克隆仓库，以可编辑模式安装，最后运行训练脚本。

GitHub 项目简介: A straightforward method for training your LLM, from downloading data to generating text.
README: I implemented a transformer model from scratch using PyTorch, based on the paper Attention is All You Need. You can use my scripts to train your own billion or million parameter L…
README: If you are a developer, the commands and file paths are all here. You can copy, run, and read the referenced source files directly.
README: The whole journey is one idea repeated: turn text into numbers, predict the next token, then keep changing the data and the loss until the model does what we want.
README: Here is the path we will walk, end to end: raw text -> tokens -> a Transformer -> next-token loss -> a base model base model -> SFT -> Reward Model -> {PPO, DPO} -> GRPO -> evalua…

来源更新时间：2026-07-19T18:08:09Z