kvcache-ai/ktransformers vs lyogavin/airllm

基于当前公开核验快照比较 kvcache-ai/ktransformers 与 lyogavin/airllm 的定位、License、部署方式、适用场景、限制和原始来源。

kvcache-ai/ktransformers

ktransformers 是一个针对大语言模型（尤其是 MoE 模型）的推理与微调框架，通过 CPU-GPU 异构计算降低硬件门槛。它支持在本地环境中加速模型推理并集成微调工具链。

airllm 是一个通过逐层加载策略降低大语言模型推理显存占用的 Python 库，使 70B 级别模型在单张约 4GB 显存的 GPU 上无需量化即可运行。其核心机制是以磁盘加载换取显存节省，因此主要适用于对吞吐量要求不高的本地环境。

先按必须满足的部署、License 和使用场景排除不合适选项，再打开各自详情核对限制与直接证据。