Robbyant/lingbot-map

项目概览

项目记录了在 518×378 分辨率、超过 10000 帧的长序列上约 20 帧每秒的稳定推理表现，可据此重点验证其在目标数据与硬件上的持续吞吐。

项目类型

模型运行 · 图像视觉 · 视频技术

部署方式

查看项目说明

License

Apache-2.0

适合谁

• 适合研究流式三维重建、长序列几何建模或漂移修正，并愿意自行配置 Python、Conda、PyTorch 与 CUDA 环境的研究人员和开发者。
• 适合需要从图像文件夹或视频生成三维点云、交互式三维视图或离线漫游视频的使用者。

核心能力

• 通过锚点上下文、位姿参考窗口和轨迹记忆，在同一流式架构中结合坐标定位、稠密几何线索与长距离漂移修正。它负责组织连续观测之间的几何上下文，是项目当前可用的核心能力。
• 基于 viser 提供浏览器端交互查看界面，用于展示重建后的三维场景。用户可通过该界面检查重建结果；此能力当前可用。
• 处理长序列并以无界面方式渲染点云漫游视频，输出 MP4 文件；流程支持分窗推理及多种相机路径配置，适合生成可回放的展示结果。此能力当前可用。
• 使用 ONNX 天空分割模型识别天空区域，并从重建点云中过滤对应点，以改善室外场景的可视化质量。该能力当前可用，但需要 skyseg.onnx 模型。
• 提供评测脚本和预处理工具，可用于 KITTI、Oxford Spires 等基准。它帮助研究人员按项目提供的流程准备数据并执行评测；此能力当前可用。
• 采用滑动窗口并重置键值缓存，使超过 3000 帧的长序列能够分段推理。用户可借此处理超出单个持续缓存范围的输入；此能力当前可用。
• 可将逐帧预测卸载到中央处理器，并减少双向尺度帧数量，以应对显存不足导致的内存溢出。它提供显存压力下的调整手段，但不代表所有有限显存配置都能运行；此能力当前可用。

限制与风险

• 当键值缓存存储超过 320 个视图且未采用关键帧策略时，性能会下降。长序列评估不能只验证短片段，应覆盖缓存增长后的表现。
• 若不重置状态，最大推理范围受训练期间见过的最长距离限制。需要更远范围时，应把状态重置纳入处理方案。
• 显存受限的 GPU 可能出现内存溢出。项目提供将逐帧预测卸载到中央处理器、减少双向尺度帧等调整方式，但选型时仍需以目标序列和分辨率实测。

如何开始

• 先创建项目指定的 Conda 环境，再安装与 CUDA 12.8 匹配的 PyTorch。该流程包含多步环境配置，事实层将上手难度评为中等。
• 通过 Python 包安装方式安装 lingbot-map，然后手动下载 LingBot-Map 模型检查点并记录其本地路径。
• 首次验证路径是向演示程序传入模型路径和 example/courthouse 图像目录；如启用天空过滤，还需准备对应的 ONNX 天空分割模型。

核验依据

• GitHub 项目简介: A feed-forward 3D foundation model for reconstructing scenes from streaming data
• README: LingBot-Map has focused on: - **Geometric Context Transformer**: Architecturally unifies coordinate grounding, dense geometric cues, and long-range drift correction within a singl…
• README: [](https://arxiv.org/abs/2604.14141)
• README: **Geometric Context Transformer**: Architecturally unifies coordinate grounding, dense geometric cues, and long-range drift correction within a single streaming framework through…
• README: 📊 **Evaluation benchmark released**. We released the evaluation scripts for KITTI and Oxford Spires

内容核验时间：