lance-format/lance

项目概览

该项目将向量搜索、数据版本管理和多模态数据统一存储于单一格式中，且能以库形式通过标准包管理器安装运行，为 AI 工程师提供了区别于传统分析型湖仓格式的新选择。

项目类型

RAG 与知识库 · 模型开发 · 数据处理

应用场景

知识问答 · 数据分析

部署方式

查看项目说明

License

Apache-2.0

适合谁

• 需要存储多模态数据并执行向量搜索的 AI 工程师
• 希望以库形式在本地运行、无付费服务依赖的 AI 工程师和开发者

核心能力

• 可将图像、视频、音频、文本和嵌入向量存储于同一格式中，并采用 blob 编码与延迟加载。
• 可在不重写整张表的情况下添加列并回填值，面向 ML 特征工程场景设计。

限制与风险

• 'next' 文件格式别名处于不稳定状态，仅应用于实验，不应将其用于生产数据。

如何开始

• 安装难度较低，无需复杂基础设施，可通过 pip install pylance 安装，随后执行 import lance 即可开始使用。

核验依据

• GitHub 项目简介: Open Lakehouse Format for Multimodal AI. Convert from Parquet in 2 lines of code for 100x faster random access, vector index, and data versioning. Compatible with Pandas, DuckDB,…
• README: The key features of Lance include: * **Expressive hybrid search:** Combine vector similarity search, full-text search (BM25), and SQL analytics on the same dataset with accelerate…
• README: pip install pylance
• README: parquet = pa.dataset.dataset(uri, format='parquet') lance.write_dataset(parquet, "/tmp/test.lance")
• README: sift1m.create_index("vector", index_type="IVF_PQ", num_partitions=256, # IVF num_sub_vectors=16) # PQ

内容核验时间：