karpathy/autoresearch

项目概览

该项目展示了用 AI agent 驱动 LLM 训练代码自动迭代的可行路径：agent 仅修改单个 train.py 文件，以固定 5 分钟训练预算和 val_bpb 指标判定每次实验结果的取舍，使过夜无人值守实验成为可能。

项目类型

AI Agent · 模型开发 · 基础设施

部署方式

查看项目说明

License

License 待确认

适合谁

• 希望在单 NVIDIA GPU 上探索 AI agent 自主驱动 LLM 训练实验循环的 AI 工程师和研究人员
• 需要一个可审查的单文件修改范围来迭代小型语言模型训练代码的实验者
• 具备本地运行条件且接受命令行交互方式开展模型训练实验的用户

核心能力

• AI agent 自主编辑训练代码，运行 5 分钟训练实验，评估验证指标，并迭代决定保留或丢弃变更。
• 附带 nanochat 的简化单 GPU 实现（GPT 模型，Muon + AdamW 优化器），作为训练设置使用。
• 提供一个基线 Markdown 文件，作为轻量级'技能'，向 AI agent 提供上下文和指令。
• 包含 prepare.py 脚本，用于下载训练数据、训练 BPE 分词器，并提供运行时工具。
• 将实验标准化为 5 分钟挂钟训练预算，并使用与词表大小无关的验证 bits per byte（val_bpb）指标进行比较。

限制与风险

• 目前需要单块 NVIDIA GPU，不支持 CPU、MPS 或 AMD 平台。
• 固定时间预算使同一平台上的结果具有可比性，但不同计算平台之间的运行结果不可比。

如何开始

• 首先安装 uv 项目管理器，使用其同步项目依赖。
• 运行 prepare.py 脚本下载训练数据并训练 BPE 分词器。
• 在启动自主循环前，手动运行一次训练实验以确认环境正常。

核验依据

• README: give an AI agent a small but real LLM training setup and let it experiment autonomously overnight. It modifies the code, trains for 5 minutes, checks if the result improved, keeps…
• README: train.py — the single file the agent edits. Contains the full GPT model, optimizer (Muon + AdamW), and training loop.
• README: Requirements: A single NVIDIA GPU (tested on H100)
• README: The `program.md` file is essentially a super lightweight "skill".
• README: prepare.py — fixed constants, one-time data prep (downloads training data, trains a BPE tokenizer), and runtime utilities (dataloader, evaluation).

内容核验时间：