InternLM/lmdeploy

项目概览

lmdeploy 是一个用于高效压缩、部署和服务大语言模型（LLM）的工具包，通过持续批处理、张量并行和高性能 CUDA 内核，提供比 vLLM 高达 1.8 倍的请求吞吐量。

项目类型

模型运行 · 基础设施

应用场景

聊天助手

部署方式

查看项目说明

License

Apache-2.0

适合谁

• 需要在本地环境高效部署和提供大语言模型服务的 AI 工程师和开发者。
• 需要处理高吞吐量 LLM 推理任务的运维团队。

核心能力

• 通过 TurboMind（面向高性能）和 PyTorch（面向开发者易用性）引擎，利用持续批处理和张量并行技术提供高吞吐量的 LLM 推理。
• 支持权重和 k/v 量化，包括利用 4 位 AWQ 来加速推理过程。
• 提供 Python pipeline API，可轻松加载并运行 LLM 和 VLM 的离线批量推理。
• 支持 InternVL、LLaVA 和 Qwen-VL 等视觉语言模型（VLM）的推理和服务。

如何开始

• 项目的安装十分简便，只需在 conda 环境中通过 pip 即可完成。具体步骤为：conda create -n lmdeploy python=3.12 -y && conda activate lmdeploy && pip install lmdeploy

核验依据

• GitHub 项目简介: LMDeploy is a toolkit for compressing, deploying, and serving LLMs.
• README: - \[2024/01\] Support [PyTorch inference engine](./docs/en/inference/pytorch.md), developed entirely in Python, helping to lower the barriers for developers and enable rapid exper…
• README: LMDeploy delivers up to 1.8x higher request throughput than vLLM, by introducing key features like persistent batch(a.k.a. continuous batching), blocked KV cache, dynamic split&fu…
• README: LMDeploy has developed two inference engines - [TurboMind](./docs/en/inference/turbomind.md) and [PyTorch](./docs/en/inference/pytorch.md), each with a different focus.
• README: By default, LMDeploy downloads model from HuggingFace. If you would like to use models from ModelScope, please install ModelScope by `pip install modelscope` and set the environme…

内容核验时间：