NVIDIA-NeMo/Speech

项目概览

该项目已将业务重心转向语音和多模态大模型（如全双工 VoiceChat），适合追踪语音 LLM 领域的技术演进方向。

项目类型

模型开发 · 模型运行 · 语音音频 · 基础设施

应用场景

会议记录 · 语音音频

部署方式

查看项目说明

License

Apache-2.0

适合谁

• 拥有 NVIDIA GPU 硬件且需要基于 PyTorch 构建和定制 ASR、TTS 或语音大模型的研究人员与开发者。

核心能力

• 提供用于创建、定制和部署语音识别模型的工具，支持离线和流式推理。
• 提供创建、定制和部署语音合成模型（例如 MagpieTTS）的工具。
• 提供构建和运行语音大型语言模型（例如全双工 VoiceChat）和多模态大模型的能力。

限制与风险

• nvidia-nemo/speech 的预构建 NGC 容器镜像尚未发布（即将推出），当前可能需通过源码或 pip 方式运行。
• 如果从不受信任的来源加载模型检查点，使用 weights_only=False 可能会面临任意代码执行的风险。
• 该仓库目前正在进行转型并调整其重心，在过渡期间可能会影响项目的稳定性。

如何开始

• 难度中等，需克隆仓库并预先配置 Python 3.12+、PyTorch 2.7+ 及 CUDA 环境，通过运行 'uv sync --extra all --extra cu13' 或 'pip install nemo-toolkit[asr,tts]' 进行安装。

核验依据

• GitHub 项目简介: A scalable generative AI framework built for researchers and developers working on Large Language Models, Multimodal, and Speech AI (Automatic Speech Recognition and Text-to-Speec…
• README: Project Status: Active -- The project has reached a stable, usable state and is being actively developed.
• README: Checkout our HuggingFace🤗 collection for the latest open weight checkpoints and demos!
• README: Nemotron-3.5-ASR-Streaming-0.6B has been released with 40 languages supported, controllable latency 80ms-1s, and 240-2400 1xH100 concurrent streams.
• README: NVIDIA NeMo Speech is built for researchers and PyTorch developers working on Speech models including Automatic Speech Recognition (ASR), Text to Speech (TTS), and Speech LLMs. It…

内容核验时间：