llmware-ai/llmware

项目概览

该框架针对本地、私有、安全的 LLM 应用构建场景，将文档解析、摄入、向量嵌入和模型推理等原本分散的组件整合到统一接口中，并支持多种向量数据库与外部模型服务。

项目类型

AI Agent · RAG 与知识库 · 模型运行

应用场景

知识问答

部署方式

查看项目说明

License

Apache-2.0

适合谁

• 需要在本地或自托管环境中构建基于知识的 LLM 应用的开发者
• 希望用统一接口整合文档解析、摄入、向量嵌入和模型推理的开发者和企业团队

核心能力

• 通过解析文件、文本分块和嵌入到所选向量数据库，大规模摄入、组织和索引知识集合。
• 使用文本、语义、混合、元数据和自定义文档过滤器的组合方式查询知识库。
• 将知识检索与 LLM 推理直接结合，把查询结果或文档内容附加到提示中，并对照来源执行事实核查。
• 使用函数调用和 SLIM 模型执行基于代理的工作流，用于流程自动化。
• 在 llmware 框架内直接集成和使用 WindowsLocalFoundry 模型。

如何开始

• 通过 pip3 install llmware 安装，默认使用 SQLite 作为数据库和 ChromaDB 作为向量数据库，无需额外安装外部数据库；随后运行 BLING 快速启动示例即可完成首次体验。

核验依据

• README: 
• README: `llmware` is optimized for AI PC and local laptop, edge and self-hosted deployment across a wide range of Windows, Mac and Linux platforms, with support for GGUF, OpenVINO, ONNXRu…
• README: `llmware` has two main components: 1. **Model catalog with 300+ models** - models prepackaged in quantized, optimized formats, to leverage on device GPU and NPU capabilities, with…
• GitHub 项目简介: Unified framework for building enterprise RAG pipelines with small, specialized models
• README: curl -o docker-compose.yaml https://raw.githubusercontent.com/llmware-ai/llmware/main/docker-compose-redis-stack.yaml

内容核验时间：