ggml-org/whisper.cpp

项目概览

该仓库在运行时不进行任何内存分配，且以纯 C/C++ 无依赖的形式提供 Whisper 推理能力，适合对资源占用和环境依赖有严格限制的本地设备端集成场景。

项目类型

模型运行 · 语音音频

应用场景

会议记录 · 语音音频

部署方式

查看项目说明

License

MIT

适合谁

• 需要在 C/C++ 应用程序中本地集成语音识别推理能力的开发者。
• 需要在不同平台（如 macOS、Linux、Windows、iOS、Android）上部署无外部依赖语音模型的 AI 工程师。

核心能力

• 使用 OpenAI Whisper 模型执行自动语音识别推理。这是该库的核心功能，用于将音频转化为文本。该能力当前为可用状态。
• 提供 C 风格的 API，便于开发者将高层级的 Whisper 推理实现集成到现有的 C/C++ 应用程序中。该能力当前为可用状态。
• 在 Whisper 推理功能之外，项目还附带了语音活动检测（VAD）的支持，辅助判断音频流中的有效语音片段。该能力当前为可用状态。
• 支持使用量化的 ggml Whisper 模型，以此减少推理过程中的内存和磁盘空间占用。该能力当前为可用状态。
• 项目包含一个已记录在文档中的流式示例，该示例能够每半秒对麦克风采样的音频进行持续转录。该能力作为辅助示例当前为可用状态。
• 项目附带了一个文档化的 whisper-server 示例，该示例被描述为一个具有类似 OAI API 的 HTTP 转录服务器。该能力作为辅助示例当前为可用状态。

限制与风险

• 仓库明确被记录为仅提供推理功能，不支持模型训练任务。
• 文档记录的 whisper-cli 示例目前仅支持运行 16 位 WAV 格式的音频文件，其他格式在 CLI 路径下的支持情况未记录。
• 在设备上首次使用 Core ML 运行时速度较慢，因为 ANE 服务需要先将模型编译为特定于设备的格式。

如何开始

• 整体安装难度属于中等。文档记录的成功路径包含：克隆仓库，下载已转换为 ggml 格式的 Whisper 模型，使用 CMake 构建项目，最后使用 whisper-cli 运行并处理音频文件。

核验依据

• README: There are various examples of using the library for different projects in the [examples](examples) folder.
• README: High-performance inference of [OpenAI's Whisper](https://github.com/openai/whisper) automatic speech recognition (ASR) model:
• README: - Plain C/C++ implementation without dependencies
• README: Stable: [v1.9.1](https://github.com/ggml-org/whisper.cpp/releases/tag/v1.9.1) / [Roadmap](https://github.com/orgs/ggml-org/projects/4/)
• README: - [C-style API](https://github.com/ggml-org/whisper.cpp/blob/master/include/whisper.h)

内容核验时间：