SYSTRAN/faster-whisper

项目概览

项目资料报告其 Whisper 转录相较 openai/whisper 最高可达 4 倍速度，同时使用更少内存，可通过对应基准测试进行验证。

项目类型

模型运行 · 语音音频

应用场景

会议记录 · 翻译字幕 · 语音音频

部署方式

查看项目说明

License

MIT

适合谁

• 适合已经选用 Whisper 或 Distil-Whisper，并希望在 CPU 或 CUDA GPU 上自托管转录推理的开发者与人工智能工程师。
• 适合关注 Whisper 转录速度、内存占用、8 位量化、批量处理或单词级时间戳的项目。

核心能力

• 可在 CPU 或 CUDA GPU 上执行转录，并选择 float16、int8 等计算类型。用户可据此匹配已有硬件和计算精度方案；该能力当前可用。
• 提供 BatchedInferencePipeline 作为批量推理管线，用同类接口组织多个输入的转录；项目资料将其描述为可提高批量转录速度，该能力当前可用。
• 集成 Silero VAD，在转录流程中过滤音频中没有语音的部分，减少无语音片段进入后续处理；该能力当前可用。
• 提供转换脚本，将与 Transformers 兼容的 Whisper 模型转换为 CTranslate2 格式，使相应模型能够进入该项目的推理流程；该能力当前可用。
• 转录时可为单个词生成开始和结束时间戳，为字幕对齐、片段定位及后续时间轴处理提供细粒度结果；该能力当前可用。
• 可运行 distil-large-v3 等 Distil-Whisper 检查点，使采用这类模型的用户能够沿用该项目的转录执行路径；该能力当前可用。

限制与风险

• 最新 CTranslate2 仅支持 CUDA 12 与 cuDNN 9；采用 GPU 推理前，应确认驱动、CUDA、cuDNN 与 CTranslate2 版本组合是否匹配。
• 部署信息表明项目支持本地与自托管运行，但没有项目方托管服务，运行环境和服务化工作需要由采用方承担。
• 现有资料没有给出最低硬件配置；选型前需要在目标 CPU、GPU、模型和计算类型组合上自行验证。

如何开始

• 首个安装路径为 `pip install faster-whisper`；项目资料说明该方式不需要在本地编译依赖。
• 安装后需要确定使用 OpenAI Whisper、CTranslate2 或 Distil-Whisper 模型，并根据 CPU 或 CUDA GPU 环境选择相应计算类型。

核验依据

• Release: faster-whisper 1.2.1
• README: **faster-whisper** is a reimplementation of OpenAI's Whisper model using [CTranslate2](https://github.com/OpenNMT/CTranslate2/), which is a fast inference engine for Transformer m…
• README: | faster-whisper | fp16 | 5 | 1m03s | 4525MB | | faster-whisper (`batch_size=8`) | fp16 | 5 | 17s | 6090MB |
• README: Unlike openai-whisper, FFmpeg does **not** need to be installed on the system. The audio is decoded with the Python library [PyAV](https://github.com/PyAV-Org/PyAV) which bundles…
• README: **Note**: The latest versions of `ctranslate2` only support CUDA 12 and cuDNN 9.

内容核验时间：