AlexsJones/llmfit

项目概览

针对硬件条件自动评分推荐本地可运行 LLM 的终端工具，且支持将基准测试结果通过直接创建 PR 回传给项目。

项目类型

模型运行

部署方式

查看项目说明

License

MIT

适合谁

• 需要在本地运行 LLM 但不确定现有 RAM、CPU 和 GPU 能否支撑特定模型的用户。
• 寻求将硬件检测和模型推荐步骤自动化到脚本和智能体中的开发者。

核心能力

• 检测系统的 RAM、CPU、GPU/VRAM 和后端，以确定可用的计算资源。
• 从内存适配、预估速度、质量和上下文四个维度对目录中的每个模型进行评分。
• 内置交互式终端用户界面作为默认模式，用于浏览硬件规格和模型评分。
• 提供经典终端命令和 JSON 输出，可用于脚本、智能体和自动化任务。
• 针对正在运行的服务提供商测量真实的每秒生成 Token 数和首字延迟（TTFT），并允许用户通过 PR 将结果分享回项目。

限制与风险

• 该项目本身负责硬件检测、评分和推荐，并不直接充当大语言模型的运行和对话界面。
• 虽然使用时不强制要求 GPU，但 GPU 资源的多少会影响最终的模型适配评分和推荐结果。

如何开始

• 安装过程简单，可通过 Homebrew、Scoop、MacPorts、pip、Docker、crates.io 或 install.sh 脚本等多种方式完成安装，随后在终端运行 llmfit 即可。

核验依据

• README: A terminal tool that right-sizes LLM models to your system's RAM, CPU, and GPU. Detects your hardware, scores each model across quality, speed, fit, and context dimensions, and te…
• README: `llmfit bench --share` measures real tok/s on your hardware and contributes it back to the project as a PR — no `gh` CLI, no third-party account.
• GitHub 项目简介: Hundreds of models & providers. One command to find what runs on your hardware.
• README: scoop install llmfit
• README: brew install AlexsJones/llmfit/llmfit

内容核验时间：