mlc-ai/mlc-llm

项目概览

mlc-llm 是一个通过机器学习编译和高性能部署引擎，帮助开发者跨异构硬件与软件平台原生开发、优化和部署大语言模型的项目。它提供统一的推理引擎，并通过兼容 OpenAI 的 API 将模型能力暴露给 REST 服务端及多种编程语言和移动平台接口。

项目类型

模型运行 · 基础设施

部署方式

查看项目说明

License

Apache-2.0

适合谁

• 需要在 Linux、Windows、macOS、Web 浏览器及移动端等多平台上原生部署和优化大语言模型推理的开发者与 AI 工程师。

核心能力

• 作为部署引擎的一部分编译大语言模型代码，旨在支持模型开发、优化和原生部署。
• 通过统一的高性能推理引擎 MLCEngine 运行已编译的代码，覆盖文档所述的各平台。
• 通过 REST 服务端以及 Python、JavaScript、iOS 和 Android 接口，以兼容 OpenAI 的 API 形式暴露 MLCEngine。
• 支持 Linux、Windows、macOS、Web 浏览器、iOS、iPadOS 和 Android 上的多种 GPU 和运行时后端。

如何开始

• README 链接了外部的安装文档与快速上手文档，但未包含具体安装步骤；可先按链接的安装文档操作，再按快速上手文档验证运行。

核验依据

• README: MLC LLM is a machine learning compiler and high-performance deployment engine for large language models. The mission of this project is to enable everyone to develop, optimize, an…
• README: <div align="center"> <table style="width:100%"> <thead> <tr> <th style="width:15%"> </th> <th style="width:20%">AMD GPU</th> <th style="width:20%">NVIDIA GPU</th> <th style="width…
• README: MLC LLM compiles and runs code on MLCEngine -- a unified high-performance LLM inference engine across the above platforms.
• README: MLCEngine provides OpenAI-compatible API available through REST server, python, javascript, iOS, Android, all backed by the same engine and compiler that we keep improving with th…
• README: Please visit our [documentation](https://llm.mlc.ai/docs/) to get started with MLC LLM. - [Installation](https://llm.mlc.ai/docs/install/mlc_llm) - [Quick start](https://llm.mlc.a…

内容核验时间：