openai/whisper

项目概览

项目证明了通过大规模弱监督训练，单一多任务模型即可替代多阶段语音处理流水线，对降低语音处理工程复杂度具有参考价值。

项目类型

语音音频 · 基础设施

应用场景

会议记录 · 翻译字幕 · 语音音频

部署方式

Python 环境

License

MIT

适合谁

• 希望以单一多任务模型替代传统多阶段语音处理流水线的开发者。
• 需要在本地环境自托管运行的语音识别应用场景。

核心能力

• 将来自不同音频的语音转写为文本，这是该多任务模型的核心功能之一。
• 将非英语语音直接翻译并输出为英语文本。需要注意的是，turbo 模型并未针对翻译任务进行训练。
• 从音频输入中识别出所使用的口语语言，作为多任务模型的支持性能力。
• 作为联合序列到序列训练格式的一部分执行语音活动检测（VAD）。

限制与风险

• whisper 提供的 turbo 模型并未针对翻译任务进行训练，无法用于非英语到英语的语音翻译。
• 针对纯英语应用场景，英语专用模型往往表现更好；但在 small.en 和 medium.en 规格下，这种差异变得不那么明显。
• 在安装过程中，如果 tiktoken 没有为当前操作系统提供预编译的 wheel 包，使用者可能需要额外安装 Rust 编译环境。

如何开始

• 安装过程较为容易：首先通过 pip 安装 openai-whisper 包，随后通过系统包管理器安装外部工具 ffmpeg，即可运行 whisper audio.flac 命令开始使用。模型权重会在首次调用时自动下载。

核验依据

• README: Whisper is a general-purpose speech recognition model. It is trained on a large dataset of diverse audio and is also a multitasking model that can perform multilingual speech reco…
• README: A Transformer sequence-to-sequence model is trained on various speech processing tasks, including multilingual speech recognition, speech translation, spoken language identificati…
• GitHub 项目简介: Robust Speech Recognition via Large-Scale Weak Supervision
• README: pip install -U openai-whisper
• README: There are six model sizes, four with English-only versions, offering speed and accuracy tradeoffs.

内容核验时间：