m-bain/whisperX

项目概览

该项目通过 faster-whisper 后端实现 70 倍实时速度的批处理转录，并使用 wav2vec2 提供词级时间戳对齐，具有可验证的工程价值。

项目类型

语音音频

应用场景

会议记录 · 语音音频

部署方式

查看项目说明

License

BSD-2-Clause

适合谁

• 需要词级时间戳用于字幕或文本对齐的开发者与一般用户。
• 需要处理多人对话音频并区分说话人的研究人员或开发者。
• 希望在消费级 GPU（<8GB 显存）或 CPU 上运行 large-v2 模型进行快速转录的用户。

核心能力

• 使用 faster-whisper 后端和 whisper large-v2 模型进行批处理推理，达到 70 倍实时速度的转录。
• 利用 wav2vec2 对齐技术提供词级时间戳，用于解决原有语句级时间戳不准确的问题。
• 使用 pyannote-audio 进行说话人分离，为转录文本添加说话人 ID 标签，支持多人语音识别。
• 在进行识别前执行语音活动检测（VAD）预处理，这减少了幻觉，并使得在不降低 WER（词错误率）的情况下进行批处理成为可能。
• 允许开发者在 Python 代码中加载模型、转录音频、对齐输出并分配说话人标签。
• 提供命令行工具，用于直接对音频文件执行转录、对齐和说话人分离任务。
• 支持使用 compute_type int8 在 CPU 上运行推理，而非仅限于 GPU。

限制与风险

• 不在对齐模型字典中的转录词汇（例如 "2014." 或 "£13.60"）无法被对齐，因此不会被赋予时间戳。
• whisper 和 whisperx 都不能很好地处理重叠语音。
• 项目明确指出其说话人分离能力还远不够完美。
• 为了进行对齐，需要特定语言的 wav2vec2 模型。
• 开发版本可能包含实验性功能和 bug。在正式生产环境中应使用稳定的 PyPI 版本。

如何开始

• 安装难度较低，可通过 pip 安装，运行环境需 ffmpeg，若使用 GPU 需 CUDA toolkit 12.8。安装后可通过命令行执行 whisperx path/to/audio.wav。

核验依据

• GitHub 项目简介: WhisperX: Automatic Speech Recognition with Word-level Timestamps (& Diarization)
• README: This repository provides fast automatic speech recognition (70x realtime with large-v2) with word-level timestamps and speaker diarization.
• README: Whilst it does produces highly accurate transcriptions, the corresponding timestamps are at the utterance-level, not per word, and can be inaccurate by several seconds. OpenAI's w…
• README: 1st place at [Ego4d transcription challenge](https://eval.ai/web/challenges/challenge-page/1637/leaderboard/3931/WER) 🏆
• Release: v3.8.6

内容核验时间：