kvcache-ai/ktransformers

项目概览

该项目针对 MoE 模型探索了 CPU/GPU 混合推理路径，并在微调环节报告了相对 ZeRO-Offload 的加速效果，为受限于 GPU 显存的开发者提供了异构计算的新方案。

项目类型

模型开发 · 模型运行 · 基础设施

应用场景

聊天助手

部署方式

查看项目说明

License

Apache-2.0

适合谁

• 受限于 GPU 显存但拥有充足系统内存、且需要对 MoE 大语言模型进行本地微调或推理的开发者和 AI 工程师。

核心能力

• 利用 AMX/AVX 加速和 NUMA 感知内存管理，优化 MoE 模型的 CPU 和 GPU 使用，提供 kt-kernel 推理服务。
• 通过 LLaMA-Factory 集成，支持 CPU/GPU 混合模式对超大 MoE 模型进行微调，旨在实现更快的速度和更低的内存占用。

限制与风险

• 原先集成的 KTransformers 框架代码已被归档至 archive/ 目录中，用户在查阅源码或使用时需注意此变动。

如何开始

• 部署难度中等。用户需要配置 Python 环境并熟悉命令行操作与模型权重管理。基础路径为：进入 kt-kernel 目录，通过 pip install 安装，随后执行 SGLang 或 Python API 服务脚本，最后通过 API 发送推理请求。

替代方案与同类比较

• 侧重于通过纯 C/C++ 实现和整数量化在广泛硬件上以低依赖性运行 LLM 推理，而 ktransformers 侧重于 CPU-GPU 异构计算与微调集成。
• 提供针对移动端、IoT 等边缘设备优化的轻量级深度学习推理与训练框架，包含本地 LLM 部署运行时方案。
• 提供从预训练到部署的无重度抽象 LLM 全链路实现，支持多种微调策略（如 LoRA, QLoRA）和 API 服务部署。

同类比较

• kvcache-ai/ktransformers vs llama.cpp
• kvcache-ai/ktransformers vs MNN
• kvcache-ai/ktransformers vs LitGPT

核验依据

• GitHub 项目简介: A Flexible Framework for Experiencing Heterogeneous LLM Inference/Fine-tune Optimizations
• README: KTransformers is a research project focused on efficient inference and fine-tuning of large language models through CPU-GPU heterogeneous computing.
• README: Support Deepseek-R1 and V3 on single (24GB VRAM)/multi gpu and 382G DRAM, up to 3~28x speedup.
• README: CPU-optimized kernel operations for heterogeneous LLM inference. <img width="1049" height="593" alt="image" src="https://github.com/user-attachments/assets/68f423da-3f55-4025-bdc9…
• README: KTransformers × LLaMA-Factory integration for ultra-large MoE model fine-tuning.

来源更新时间：2026-07-19T18:15:22Z

打开原始 GitHub 项目