RyanCodrai/turbovec

项目概览

其在 ARM 架构上的手写 SIMD 内核搜索速度在证据中比 FAISS IndexPQFastScan 快 10-19%。

项目类型

RAG 与知识库 · 向量数据库

应用场景

知识问答

部署方式

查看项目说明

License

MIT

适合谁

• 需要控制大型向量数据集内存占用并寻求无需 GPU 环境部署的开发者。
• 希望在本地、气隙隔离环境中构建纯本地检索管道的数据团队。

核心能力

• 允许持续向索引中添加向量，且不需要单独的训练步骤、参数调优，也不必随着语料库扩大而重建索引。
• 利用手写的 NEON 和 AVX-512BW SIMD 内核执行搜索，提供比 FAISS 更快的搜索速度。
• 允许向搜索函数传递 ID 允许列表或位掩码，以便在 SIMD 内核内部过滤结果，而无需过度抓取数据。
• 利用随机旋转和 Lloyd-Max 标量量化对向量进行压缩，实现最高达 16 倍的压缩比。
• 在编码时为每个向量计算并存储一个标量，以纠正评分过程中对内积的系统性低估。
• 提供 IdMapIndex，用于将内部 ID 映射到稳定的外部 uint64 ID，且这些 ID 在删除操作后依然保留。
• 提供可通过 pip 安装的 Python 绑定，以便与底层的 Rust 索引进行交互。
• 提供可通过 cargo 安装的原生 Rust 库。

限制与风险

• TurboQuant 的渐近 Beta 假设在低维向量场景下（如 d=200 的 GloVe）会变得更松散。

如何开始

• 因其支持标准包管理器，开发者运行 pip install turbovec 后实例化 TurboQuantIndex 即可开始交互。

核验依据

• README: **A 10 million document corpus takes 31 GB of RAM as float32. turbovec fits it in 4 GB - and searches it faster than FAISS.** turbovec is a Rust vector index with Python bindings,…
• README: turbovec is a Rust vector index with Python bindings, built on Google Research's [**TurboQuant**](https://arxiv.org/abs/2504.19874) algorithm
• README: Restrict results to a candidate set produced by another system (SQL, BM25, ACL, time window, …):
• README: The calibration is frozen after the first add and reused by subsequent adds — no retraining, no rebuilds, no separate train phase. Recall gain: up to +1.4pp at @1 on the cells tha…
• README: Need stable ids that survive deletes? Use `IdMapIndex`: ```python import numpy as np from turbovec import IdMapIndex index = IdMapIndex(dim=1536, bit_width=4) index.add_with_ids(v…

内容核验时间：