arcee-ai/mergekit

项目概览

mergekit 是一个将多个预训练语言模型在权重空间中直接合并的工具，无需额外训练即可组合不同模型的优势。它采用核外执行方式，可在 CPU 上运行或仅用 8 GB VRAM 加速。

项目类型

模型开发 · 模型运行

部署方式

查看项目说明

License

LGPL-3.0

适合谁

• 需要在有限计算资源下合并预训练语言模型的 AI 工程师和研究者

核心能力

• 提供包括 Linear、SLERP、TIES、DARE 等在内的合并算法套件，在权重空间中直接组合预训练语言模型。
• 通过张量延迟加载的核外方法执行合并，可在 CPU 上运行或仅用 8 GB VRAM 加速。
• 支持从微调模型中提取与 PEFT 兼容的低秩近似。
• 支持将多个稠密模型合并为混合专家模型，可直接使用或用于后续训练。
• 支持执行复杂的多阶段合并工作流，后续合并可以将先前合并的输出作为输入。
• 将合并算法直接应用于 .pt 或 .safetensors 格式的 PyTorch 检查点，支持 Hugging Face Transformers 之外的任意 PyTorch 模型。
• 在模型之间移植分词器，将一个模型的词表与另一个模型对齐，适用于低成本生成推测解码草稿模型或跨分词器知识蒸馏。
• 提供对合并模型的词表、嵌入和聊天模板的细粒度控制。

限制与风险

• 原始 PyTorch 模型合并不支持层切片和分词器配置。

如何开始

• 克隆仓库后通过 pip 安装，编写定义合并操作的 YAML 配置文件，然后使用 mergekit-yaml 命令执行合并。整体安装难度中等。

核验依据

• GitHub 项目简介: Tools for merging pretrained large language models.
• README: `mergekit` uses an out-of-core approach to perform unreasonably elaborate merges in resource-constrained situations. Merges can be run entirely on CPU or accelerated with as littl…
• README: Model merging is a powerful technique that allows combining the strengths of different models without the computational overhead of ensembling or the need for additional training.
• README: merged models maintain the same inference cost as a single model while often achieving comparable or superior performance.
• README: If you find `mergekit` useful in your research, please consider citing the [paper](https://aclanthology.org/2024.emnlp-industry.36/)

内容核验时间：