jingyaogong/minimind

项目概览

在单张 RTX 3090 (24GB) 显卡上，约 2 小时即可从零跑完一个 64M 参数 LLM 的全流程训练，代码未使用高级第三方抽象。

项目类型

模型开发 · 模型运行

应用场景

学习教育

部署方式

查看项目说明

License

Apache-2.0

适合谁

• 希望从代码层面理解 LLM 训练细节且熟悉 Python 与命令行操作的开发者或研究人员。
• 拥有单张消费级 GPU（如 24GB 显存的 RTX 3090）并寻求进行全流程大模型训练实验的个人学习者。

核心能力

• 涵盖包括预训练 (Pretrain)、有监督微调 (SFT)、LoRA、基于人类反馈的强化学习 (RLHF-DPO)、基于AI反馈的强化学习 (RLAIF)、工具调用 (Tool Use)、智能体强化学习 (Agentic RL) 以及模型蒸馏在内的完整训练流程，均使用 PyTorch 从零实现。
• 提供对齐 Qwen3/Qwen3-MoE 生态的完整 LLM 结构代码，包含 Dense 和 MoE（混合专家）模型，并提供了 RoPE 和 YaRN 缩放实现。
• 提供兼容 OpenAI API 协议的最小化服务端，支持 reasoning_content、tool_calls 以及 open_thinking，可用于接入第三方用户界面。
• 提供基于 Streamlit 的最小化 Web 聊天界面，支持思维过程展示、工具选择以及多轮工具调用。
• 提供覆盖收集、蒸馏、清洗和去重处理的全阶段开源数据集，用于支持从预训练到对齐的各个环节。

限制与风险

• 通过本项目训练得到的模型参数量较小（如 64M），其事实知识和泛化能力有限，不适用于生产环境中的复杂任务处理。

如何开始

• 部署难度中等，需要熟悉 GPU 操作、命令行执行并手动下载数据。首次验证路径为：克隆仓库并安装依赖、下载所需的预训练模型权重，然后使用命令（如 python eval_llm.py --load_from ./minimind-3）运行推理。

核验依据

• GitHub 项目简介: 🧠「大模型」2小时完全从0训练64M的小参数LLM！Train a 64M-parameter LLM from scratch in just 2h!
• README: 这不仅是一个大语言模型全阶段开源复现项目，也是一套面向 LLM 入门与实践的教程。
• README: 这更像是在教牛顿如何使用 21 世纪的智能手机——虽然有趣，却偏离了理解物理本质的初衷。
• README: 希望此项目能为更多人提供一个可复现、可理解、可扩展的起点，一起感受创造的乐趣，并推动更广泛 AI 社区的进步。
• README: 提供全阶段开源数据，覆盖收集、蒸馏、清洗与去重后的高质量数据集。

内容核验时间：