kvcache-ai/ktransformers

项目概览

该项目针对 MoE 模型探索了 CPU/GPU 混合推理路径，并在微调环节报告了相对 ZeRO-Offload 的加速效果，为受限于 GPU 显存的开发者提供了异构计算的新方案。

项目类型

模型开发 · 模型运行 · 基础设施

应用场景

聊天助手

部署方式

查看项目说明

License

Apache-2.0

适合谁

• 受限于 GPU 显存但拥有充足系统内存、且需要对 MoE 大语言模型进行本地微调或推理的开发者和 AI 工程师。

核心能力

• 利用 AMX/AVX 加速和 NUMA 感知内存管理，优化 MoE 模型的 CPU 和 GPU 使用，提供 kt-kernel 推理服务。
• 通过 LLaMA-Factory 集成，支持 CPU/GPU 混合模式对超大 MoE 模型进行微调，旨在实现更快的速度和更低的内存占用。

限制与风险

• 原先集成的 KTransformers 框架代码已被归档至 archive/ 目录中，用户在查阅源码或使用时需注意此变动。

如何开始

• 部署难度中等。用户需要配置 Python 环境并熟悉命令行操作与模型权重管理。基础路径为：进入 kt-kernel 目录，通过 pip install 安装，随后执行 SGLang 或 Python API 服务脚本，最后通过 API 发送推理请求。

核验依据

• GitHub 项目简介: A Flexible Framework for Experiencing Heterogeneous LLM Inference/Fine-tune Optimizations
• README: KTransformers is a research project focused on efficient inference and fine-tuning of large language models through CPU-GPU heterogeneous computing.
• README: Support Deepseek-R1 and V3 on single (24GB VRAM)/multi gpu and 382G DRAM, up to 3~28x speedup.
• README: CPU-optimized kernel operations for heterogeneous LLM inference. <img width="1049" height="593" alt="image" src="https://github.com/user-attachments/assets/68f423da-3f55-4025-bdc9…
• README: KTransformers × LLaMA-Factory integration for ultra-large MoE model fine-tuning.

内容核验时间：