zilliztech/GPTCache

项目概览

项目可通过 Docker Server 镜像让任意编程语言调用其语义缓存能力。

项目类型

RAG 与知识库 · 基础设施

部署方式

查看项目说明

License

MIT

适合谁

• 希望通过缓存语义相似查询来降低 LLM API 成本并提升响应速度的开发者。
• 需要在 Python 或任意编程语言环境中通过库或 Docker Server 引入缓存机制的应用程序。

核心能力

• 存储 LLM 响应，并基于语义相似度进行检索，从而避免对大模型的冗余 API 调用。
• 针对完全相同的查询请求，缓存并检索其对应的响应结果。
• 提供标准化接口，用于集成并缓存来自不同 LLM API（如 OpenAI 等）的响应。
• 允许对嵌入生成、缓存存储、向量存储、相似度评估及数据淘汰等组件进行自定义配置。
• 集成并缓存大型多模态模型的响应，用于图像生成和音频转录场景。
• 支持使用 Redis 或 memcached 等分布式缓存存储来实现水平扩展。
• 提供 Docker 镜像形式的 Server，使得任何编程语言都可以调用 gptcache。

限制与风险

• 数据淘汰机制仅基于行数进行，可能会导致内存溢出（OOM）错误。
• 由于项目处于快速开发阶段，API 可能随时发生变更。

如何开始

• 可以通过 pip 直接安装，可选依赖库会自动安装；环境要求 Python 3.8.1 或更高版本，使用时需要编写代码并配置 OPENAI_API_KEY 环境变量。

核验依据

• README: GPTCache : A Library for Creating Semantic Cache for LLM Queries
• README: Slash Your LLM API Costs by 10x 💰, Boost Speed by 100x ⚡
• README: we have created GPTCache, a project dedicated to building a semantic cache for storing LLM responses.
• README: Before running the example, **make sure** the OPENAI_API_KEY environment variable is set by executing `echo $OPENAI_API_KEY`.
• README: `pip install gptcache`

内容核验时间：