FareedKhan-dev/kimi-k3-in-c

项目概览

该项目在不依赖 BLAS、框架或 GPU 的情况下，将大规模 MoE 模型的内存需求压缩至消费级硬件可承受的范围，同时保证不同内存预算下的输出字节一致。

项目类型

模型运行

应用场景

聊天助手

部署方式

查看项目说明

License

Apache-2.0

适合谁

• 希望在消费级 CPU 硬件上研究或实验性运行超大规模混合专家模型的开发者和研究者。
• 需要验证不同内存预算下推理输出字节一致性的实验场景。

核心能力

• 使用可移植的 C99 执行 LLM 推理，不依赖 BLAS、框架或 GPU，将大规模模型装入较小的 RAM 中。
• 将始终在线的密集主干保留在内存中，同时以 4-bit 打包格式直接从磁盘流式加载休眠的路由专家。
• 提供笔记本电脑、台式机、工作站、服务器和最大值预设，动态调整 RAM 需求，同时生成一致的输出。

限制与风险

• 引擎目标平台为 Linux，分词器和配置读取器是可移植的，但主二进制文件不适用于 macOS、Windows 或 WSL。
• 检查点的部分下载不会明确报错，而是会产生错误的 token，需在部署时注意排查。

如何开始

• 克隆仓库后运行 k3-doctor.sh 检查机器，使用 make 或 CMake 构建，并运行 make test 验证引擎。
• 使用 download-model.sh 下载 1.56 TB 检查点，使用 pack-trunk.sh 打包主干，然后运行二进制文件。

核验依据

• GitHub 项目简介: A 2.78-trillion-parameter Kimi K3 running inference on a single CPU in 8.24 GB of RAM. Portable C99: no BLAS, no framework, no GPU.
• GitHub 仓库资料: {"primary_language":"C"}
• README: No consumer machine can hold it, and waiting for better hardware does not help, because the wall is not speed, it is capacity.
• README: 8 tokens in 261.5 s, 32.69 s/token average PEAK RSS for the whole run: 8.24 GB
• README: the same model runs in 8 GB and in 224 GB and produces byte-identical output at every budget between.

来源更新时间：2026-08-03T18:04:52Z

打开原始 GitHub 项目