allenai/olmocr

项目概览

该项目以可验证的低成本处理百万页级文档转换，并配套覆盖 1400 份文档的基准测试套件和支持多节点协调的批量推理管线，适合大规模 LLM 数据集构建场景。

项目类型

文档处理 · 数据处理

应用场景

文档办公

部署方式

查看项目说明

License

Apache-2.0

适合谁

• 需要将大规模 PDF 和图像文档转换为 Markdown 以构建 LLM 数据集的开发者、数据团队和研究人员。

核心能力

• 覆盖超过 1400 份文档中的超过 7000 个测试用例，用于衡量 OCR 系统的性能。
• 用于通过批量推理管线处理数百万份 PDF 的管理器，支持多节点协调。
• 包含用于提示策略、语言过滤、SEO 垃圾内容移除、SFT 微调、GRPO 强化学习训练、合成数据生成和查看 Dolma 文档的可复用脚本。
• 允许将推理卸载至兼容 OpenAI 接口的外部 API 服务器或经验证的外部模型提供商。

限制与风险

• 本地推理需要 GPU，基于 7B 参数视觉语言模型运行，要求至少 12GB 显存的 NVIDIA GPU。
• 依赖项在已有 Python 环境中安装较为困难，建议使用干净的 Python 环境。
• 包含模型的 Docker 镜像非常大，约为 30GB，拉取和部署前需确认磁盘空间充足。

如何开始

• 安装依赖后，选择安装 Python 包或拉取 Docker 镜像；依赖在已有 Python 环境中安装较为困难，建议使用干净的 Python 环境。
• 准备输入 PDF 文件，通过命令行运行 olmocr 命令即可生成 Markdown；命令行支持针对扩展规模和外部服务器的可选参数。

核验依据

• GitHub 项目简介: Toolkit for linearizing PDFs for LLM datasets/training
• README: - Efficient, less than $200 USD per million pages converted - (Based on a 7B parameter VLM, so it requires a GPU)
• README: - Feb 25, 2025 - v0.1.58 - Initial public launch and demo.
• README: We also ship a comprehensive benchmark suite covering over 7,000 test cases across 1,400 documents to help measure performance of OCR systems.
• README: Try the online demo: [https://olmocr.allenai.org/](https://olmocr.allenai.org/)

内容核验时间：