rasbt/LLMs-from-scratch

项目概览

教程在实现过程中不依赖任何外部 LLM 库，所有核心逻辑均通过原始 PyTorch 代码逐步展示。

项目类型

模型运行 · 学习资源

应用场景

学习教育

部署方式

查看项目说明

License

License 待确认

适合谁

• 希望从底层代码层面理解大语言模型如何运作的开发者和研究人员。
• 需要系统性从零构建小模型以辅助教学实践的教育工作者。

核心能力

• 提供分步的 Jupyter Notebook 和 Python 代码，用于从零开始实现 GPT 模型，涵盖文本数据处理、注意力机制、预训练和微调。该能力当前状态为可用。

限制与风险

• 为了保证与配套实体书内容的一致性，项目明确表示无法接受扩展主章节代码内容的贡献。

如何开始

• 首先执行 git clone --depth 1 https://github.com/rasbt/LLMs-from-scratch.git 克隆代码，然后按照 setup/README.md 中的指引搭建包含 PyTorch 的 Python 环境，最后运行 ch02/01_main-chapter-code/ch02.ipynb 等章节 Notebook 开始学习。

替代方案与同类比较

• 提供涵盖数学、Python、神经网络基础的路线图和 Colab 笔记本，侧重于提供理解、构建和部署 LLM 的免费结构化课程。
• 以低成本、短时间训练一个约 6400 万参数的 MiniMind 模型为核心，提供涵盖数据清洗到偏好优化的端到端复现工作流。
• 系统地讲解 NLP 基础与 Transformer 架构，并指导手动构建和训练 LLaMA2 小型模型。

同类比较

• rasbt/LLMs-from-scratch vs 结构化 LLM 学习课程
• rasbt/LLMs-from-scratch vs 低门槛小参数量 LLM 训练复现
• rasbt/LLMs-from-scratch vs 从理论到实现的 LLaMA2 实践

核验依据

• README: This repository contains the code for developing, pretraining, and finetuning a GPT-like LLM and is the official code repository for the book [Build a Large Language Model (From S…
• README: [](https://github.com/rasbt/LLMs-from-scratch/actions/workflows…
• README: [](https://github.com/rasbt/LLMs-from-scratch/actions/w…
• README: [](https://github.com/rasbt/LLMs-from-scratch/actions/workflows…
• README: This book uses PyTorch to implement the code from scratch without using any external LLM libraries.

来源更新时间：2026-07-16T18:14:21Z

打开原始 GitHub 项目