nndl/llm-beginner

项目概览

nndl/llm-beginner 为具备 Python 与深度学习基础的学习者提供渐进式 6 任务实践教程，从手写 mini-GPT 预训练与微调，到构建 RAG 系统和编码 Agent。

项目类型

AI Agent · AI 编程 · RAG 与知识库

应用场景

知识问答 · 编程开发 · 学习教育

部署方式

查看项目说明

License

MIT

适合谁

• 具备 Python 与深度学习基础，希望通过编写代码系统理解 LLM 和 AI Agent 的开发者和研究人员

核心能力

• 手写自注意力与 Transformer 模块，在小任务上运行并可视化注意力权重。
• 使用 PyTorch 从零构建纯解码器模型，进行预训练，并集成 RoPE 与 KV cache。
• 在小型预训练模型上执行 SFT 和 DPO 对齐，理解从基座模型到对话模型的转变过程。
• 构建端到端的中文检索增强生成系统，并量化评估每个阶段的改进效果。
• 实现 ReAct 循环，让 LLM 自主调用工具完成多步骤任务。
• 使用 MCP、Skills 和 Subagents 复制一个 AI 编码 Agent 的最小版本，修改代码并运行测试。

限制与风险

• 任务 1-4 可在 8GB 消费级 GPU（如 RTX 3060/4060）上运行；任务 5 和 6 建议 16GB+ 显存，或者在 8GB 显存上使用 Q4_K_M 量化运行。Mac M 系列支持通过 MPS / llama.cpp 运行。
• 任务依赖于下载大型外部模型（如 Qwen 系列、BGE 模型）和数据集，可能需要稳定的网络或镜像源。

如何开始

• 安装 Python 3.10+，进入 task-1-transformer 目录运行 pip install -r requirements.txt 安装依赖，随后执行 python data/download.py 下载所需数据与模型。任务需要编写 Python 代码通过自检脚本。

核验依据

• README: 本系列是 NLP-Beginner 在大模型时代的重构版本，是一份**独立的入门教程**，面向有 Python 与深度学习基础的学习者。
• README: 作为本教程的学习材料，同步撰写了**《大模型与智能体》**，围绕共用基础、大模型、智能体、边界与未来四条主线展开，共 17 章。
• README: 手写 self-attention 与 Transformer block，在小任务上跑通并可视化注意力权重。
• README: 用 PyTorch 从零搭一个 decoder-only 模型，先在中文小语料上预训练并自回归生成
• README: 在小尺寸预训练模型上做 SFT + DPO 两阶段对齐，理解从 base model 到 chat model 的全过程。

内容核验时间：