karpathy/nanochat

项目概览

它把通常昂贵且依赖复杂框架代码的完整 ChatGPT 式 LLM 训练流程压缩为一个最小、可改动的代码库，配套在 8XH100 节点约 1.5-2 小时完成 GPT-2 级别训练的单文件脚本，适合想完整理解 LLM 训练全流程的研究者和工程师。

项目类型

模型开发 · 模型运行

应用场景

聊天助手

部署方式

查看项目说明

License

MIT

适合谁

• 希望以较低成本端到端理解和复现 LLM 训练全流程的研究者与 AI 工程师。
• 想要一个最小、可随意修改的训练基准代码库、而非高度可配置框架的用户。

核心能力

• 覆盖分词、预训练、微调、评测和推理等 LLM 主要阶段。
• 单文件脚本 runs/speedrun.sh 可在 8XH100 节点上约 1.5-2 小时训练出一个 GPT-2 级别的模型。
• 训练完成后通过 python -m scripts.chat_cli 与模型对话。

限制与风险

• 显存低于 80GB 的 GPU 需要调整超参数，否则会显存不足。
• speedrun 脚本按 8XH100 GPU 节点设计；单卡可行但慢约 8 倍。
• 在 CPU 或 MPS 上运行会大幅缩小模型规模，无法得到理想结果。
• 定位是极简可改的基准代码库，不适合需要高度可配置 LLM 框架的场景。

如何开始

• 安装难度为中等：需要 uv、运行完整管线的 GPU 节点以及命令行操作。首次成功路径：uv sync --extra gpu → source .venv/bin/activate → bash runs/speedrun.sh → python -m scripts.chat_cli。

核验依据

• README: nanochat is the simplest experimental harness for training LLMs. It is designed to run on a single GPU node, the code is minimal/hackable, and it covers all major LLM stages inclu…
• README: The entire pipeline to do so is contained in the single file runs/speedrun.sh, which is designed to be run on an 8XH100 GPU node.
• README: Once it's done, you can talk to your model over the CLI. Make sure again that your local uv virtual environment is active (run `source .venv/bin/activate`), and chat: ```bash pyth…
• README: change dataset to NVIDIA ClimbMix
• README: nanochat uses [uv](https://docs.astral.sh/uv/) for dependency management. To install: ```bash uv sync --extra gpu # Use for CUDA (A100/H100/etc.) ```

来源更新时间：2026-11-02T18:43:26Z

打开原始 GitHub 项目