bojieli/ai-infra-book

项目概览

该书从硬件约束和模型架构出发，用数量级估算方法推导 LLM 系统设计，而非停留在概念层面；配套计算工具仅需 Python 3.10+ 标准库即可运行，无需 GPU 和模型权重。

项目类型

基础设施 · 学习资源

应用场景

学习教育

部署方式

查看项目说明

License

Apache-2.0

适合谁

• 希望定量理解 LLM 系统设计如何由硬件约束决定的 AI 工程师和研究人员
• 希望动手复现书中数字、用自定义模型与输入做估算的读者

核心能力

• Python 工具（calculations/calc.py）可重新计算书中的数字，并能用不同的模型和输入组合估算资源需求；静态计算仅需 Python 3.10+ 标准库，无需 GPU 或模型权重。

限制与风险

• 本书手稿目前仍是初稿，正在持续修订，内容可能发生变化。

如何开始

• 在 bojieli.github.io/ai-infra-book 在线阅读，或从 Releases 下载 PDF/EPUB。
• git clone 仓库后，在 Python 3.10+ 环境中运行 python3 calculations/calc.py models。

核验依据

• GitHub 项目简介: 《深入理解 AI Infra：量化分析与系统设计》（李博杰 著）开源书稿：从硬件约束和模型架构出发，量化推导 LLM 推理与训练系统设计。含全书正文、PDF、配套计算工具与实验
• README: | 1 | [初识 AI Infra](<manuscripts/01-初识 AI Infra.md>) | 一次生成需要多少显存、计算和数据读写？ |
• README: 贯穿全书的方法是**从约束推导设计**：先明确任务与质量要求，列出计算、存储、通信和依赖关系，对照硬件的容量、带宽和算力做数量级估算。
• README: 静态计算只需 Python 3.10+ 标准库，无需 GPU 或模型权重。
• README: python3 calculations/calc.py models

来源更新时间：2026-10-04T18:45:19Z

打开原始 GitHub 项目