NVIDIA/TensorRT-LLM

项目概览

该项目提供了涵盖 Prefill-Decode 分离、Wide Expert Parallelism 和 Speculative Decoding 等多种推理优化手段，并以 Python 和 C++ 运行时编排推理执行，适合需要在 NVIDIA GPU 上优化 LLM 和视觉生成模型推理效率的场景。

项目类型

模型运行

部署方式

查看项目说明

License

License 待确认

适合谁

• 需要在 NVIDIA GPU 上优化大型语言模型和视觉生成模型推理效率的开发者和 AI 工程师。

核心能力

• 提供用于常见推理操作的自定义内核，以及 Prefill-Decode 分离、Wide Expert Parallelism、Speculative Decoding 等算法级运行时优化。
• 包含用于创建 Python 和 C++ 运行时的组件，以编排推理执行过程。
• 支持用于视觉生成的扩散模型。

限制与风险

• 项目默认收集匿名遥测数据，遥测为可选项，用户可以禁用遥测数据收集。

如何开始

• 安装难度为中等，需要通过 Python wheel 包或容器进行安装，在受支持的硬件上进行配置，并使用 Python API 定义模型。

核验依据

• GitHub 项目简介: TensorRT LLM provides users with an easy-to-use Python API to define Large Language Models (LLMs) and supports state-of-the-art optimizations to perform inference efficiently on N…
• README: TensorRT LLM now supports diffusion models for visual generation
• README: TensorRT LLM is an open-sourced library for optimizing LLM and Visual Gen inference. It provides state-of-the-art optimizations, including custom kernels for common inference oper…
• README: To get started with TensorRT-LLM, visit our documentation:
• README: TensorRT-LLM collects anonymous telemetry data by default.

内容核验时间：