getumbrel/llama-gpt

项目概览

该项目以数据不离开设备的方式在本地运行 Llama 2 模型，满足隐私保护场景下的离线聊天需求。

项目类型

模型运行

应用场景

聊天助手

部署方式

查看项目说明

License

MIT

适合谁

• 有本地数据边界要求、需要数据保留在本地设备且无需外部付费服务的使用场景。

核心能力

• 提供一个自托管的离线聊天界面，允许用户在不将数据传出设备的前提下与大型语言模型进行交互。
• 在 3001 端口提供 OpenAI API 的直接替代功能，使现有的兼容 OpenAI 的工具能够接入使用。
• 支持带有 CUDA 的 Nvidia GPU，用于加速模型推理。
• 支持针对 M1/M2 Mac 设备的 Apple Silicon Metal 框架。
• 提供加载自定义模型的能力，目前状态为计划中。
• 允许用户在界面中切换不同的模型，目前状态为计划中。

限制与风险

• 目前无法加载自定义模型，该功能计划在未来实现。
• 目前无法在界面中动态切换模型，该功能计划在未来实现。
• 模型下载体积较大，70B 模型需要高达 38.87GB 的下载空间。

如何开始

• 部署难度中等。用户既可以通过 umbrelOS App Store 安装，也可以通过克隆仓库并执行 shell 脚本（如 ./run.sh --model 7b）进行部署，首次运行需要下载数 GB 的模型。

核验依据

• GitHub 项目简介: A self-hosted, offline, ChatGPT-like chatbot. Powered by Llama 2. 100% private, with no data leaving your device.
• GitHub 仓库资料: {"primary_language":"TypeScript"}
• README: A self-hosted, offline, ChatGPT-like chatbot, powered by Llama 2. 100% private, with no data leaving your device.
• README: Running LlamaGPT on an [umbrelOS](https://umbrel.com) home server is one click. Simply install it from the [Umbrel App Store](https://apps.umbrel.com/app/llama-gpt).
• README: Simply install it from the [Umbrel App Store](https://apps.umbrel.com/app/llama-gpt).

内容核验时间：