microsoft/unilm

项目概览

microsoft/unilm 提供一组预训练基础模型、架构与工具，覆盖 NLP、视觉、语音及文档 AI 等多种任务。其中 LayoutLM 是面向文档 AI 的多模态（文本 + 版面/格式 + 图像）基础模型，可用于扫描文档、PDF 等场景。

项目类型

文档处理 · 图像视觉 · 基础设施

应用场景

文档办公 · 图片处理 · 语音音频

部署方式

查看项目说明

License

MIT

适合谁

• 需要在 NLP、视觉、语音、文档 AI 等方向使用预训练基础模型、架构与工具的 AI 工程师和研究人员。

核心能力

• 多模态（文本 + 版面/格式 + 图像）文档基础模型，面向扫描文档、PDF 等文档 AI 场景。

限制与风险

• 仓库包含多个进阶研究模型，不同子项目依赖存在差异，使用前需按子项目单独安装依赖。
• 现有事实未记录 GPU 要求。
• 现有事实未记录数据边界相关信息。
• 现有事实未记录成本依赖相关信息。
• 现有事实未记录编程要求相关信息。
• 现有事实未记录遥测相关信息。

如何开始

• 上手难度尚不明确；仓库包含多个研究模型，依赖各不相同。可参考路径为：克隆仓库、为具体子项目安装依赖、下载预训练权重，再运行推理或微调脚本。

核验依据

• GitHub 项目简介: Large-scale Self-supervised Pre-training Across Tasks, Languages, and Modalities
• README: - December, 2024: [**RedStone**](https://github.com/microsoft/redstone) was released!
• README: > [**LayoutLM**](https://github.com/microsoft/unilm/tree/master/layoutlm)/[**LayoutLMv2**](https://github.com/microsoft/unilm/tree/master/layoutlmv2)/[**LayoutLMv3**](https://gith…
• README: - January, 2023: [**VALL-E**](https://arxiv.org/abs/2301.02111) a language modeling approach for text to speech synthesis (TTS), which achieves state-of-the-art zero-shot TTS perf…
• README: > [**BitNet**](https://arxiv.org/abs/2310.11453): 1-bit Transformers for Large Language Models

内容核验时间：