jina-ai/clip-as-service

项目概览

clip-as-service 是一个用于提供 CLIP 模型图像和文本嵌入的微服务，具有低延迟和高可扩展性，可平滑集成到神经搜索生态系统中。

项目类型

RAG 与知识库 · 模型运行

应用场景

搜索调研

部署方式

查看项目说明

License

License 待确认

适合谁

• 具备 Python 编码能力的开发者及 AI 工程师。

核心能力

• 提供 CLIP 模型，为图像和句子生成向量嵌入。
• 提供 `/rank` 端点，根据 CLIP 模型中的联合似然对跨模态匹配结果进行重新排序。
• 支持异步客户端，可在 gRPC、HTTP 和 WebSocket 协议之间灵活切换。

限制与风险

• 在没有 GPU 的情况下，为大型数据集生成嵌入可能会非常缓慢；GPU 有助提升性能但并非运行的严格前置要求。

如何开始

• 客户端和服务端可通过 pip 独立安装；安装 clip-server 后，运行 `python -m clip_server` 即可启动服务。

核验依据

• README: CLIP-as-service is a low-latency high-scalability service for embedding images and text. It can be easily integrated as a microservice into neural search solutions.
• README: 🍱 **Integration**: Smooth integration with neural search ecosystem including [Jina](https://github.com/jina-ai/jina) and [DocArray](https://github.com/jina-ai/docarray). Build cro…
• README: CLIP-as-service is backed by [Jina AI](https://jina.ai) and licensed under [Apache-2.0](./LICENSE).
• README: You can also [host the server on Google Colab](https://clip-as-service.jina.ai/hosting/colab/), leveraging its free GPU/TPU.
• README: From `0.3.0` CLIP-as-service adds a new `/rank` endpoint that re-ranks cross-modal matches according to their joint likelihood in CLIP model.

内容核验时间：