nl8590687/ASRT_SpeechRecognition

项目概览

该项目采用'声学模型转拼音+语言模型转汉字'的两阶段中文语音识别架构，为需要自托管部署且不依赖外部付费商业 API 的中文语音处理场景提供了端到端自主可控方案。

项目类型

模型运行 · 语音音频

应用场景

学习教育

部署方式

查看项目说明

License

GPL-3.0

适合谁

• 需要在离线或本地化环境中部署中文语音识别功能的开发团队。
• 对中文语音识别底层模型运行机制感兴趣，希望进行模型训练实验的研究人员或学生。
• 只需要处理短促语音片段（16秒以内）并寻求自托管方案的业务场景。

核心能力

• 采用 DCNN、LSTM、注意力机制和 CTC 相结合的深度学习架构，负责处理输入的 WAV 音频并提取声学特征，最终将其转录为中文拼音序列。这是系统的第一级核心处理阶段。
• 使用基于 N-gram 的最大熵隐马尔可夫模型，将声学模型输出的中文拼音序列转换为最终的汉字文本，尝试解决同音字词的消歧问题。
• 内置基于 HTTP 协议的推理服务端，允许外部系统通过标准的 Web API 发送音频数据并获取识别结果，便于与现有 Web 服务集成。
• 内置基于 gRPC 协议的推理服务端，适用于对延迟敏感、需要处理高并发请求或在内网微服务架构中运行的场景。
• 提供训练脚本和配置，允许用户使用自己配置或下载的中文语音及拼音数据集，针对特定垂直领域的语音特征重新训练声学模型。
• 提供测试工具，在训练完成后或推理前，利用测试数据集对语音识别模型进行准确率和性能评估。

限制与风险

• 系统单次处理的音频最大长度为 16 秒，超过此长度的音频必须在客户端或预处理阶段进行强制切分。
• 系统的模型训练功能仅支持在 Linux 操作系统上运行，Windows 操作系统当前仅被支持用于执行模型推理。
• 根据测试数据，目前最佳测试模型达到了约 85% 的拼音准确率，在复杂语境或噪声环境下最终输出的汉字准确率可能会受到影响。

如何开始

• 初次成功部署的路径为：克隆仓库、安装 Python 环境与依赖、从 Releases 页面手动下载预训练模型、运行 asrserver_http.py 或 asrserver_grpc.py 启动服务。整体需要一定的 Python 与深度学习环境配置经验。
• 如果需要进行模型训练，则需要自行下载配置特定的中文语音数据集，且受系统限制，训练操作只能在 Linux 环境下完成，Windows 仅支持推理。

核验依据

• GitHub 项目简介: A Deep-Learning-Based Chinese Speech Recognition System 基于深度学习的中文语音识别系统
• README: 启动ASRT HTTP协议的API服务器启动请执行： ```shell $ python3 asrserver_http.py ``` 本地测试调用HTTP协议API服务是否成功： ```shell $ python3 client_http.py ``` 启动ASRT GRPC协议的API服务器启动请执行： ```shell $ python3 asrs…
• README: 本项目使用tensorFlow.keras基于深度卷积神经网络和长短时记忆神经网络、注意力机制以及CTC实现。
• README: 基于概率图的最大熵隐马尔可夫模型 输入为汉语拼音序列，输出为对应的汉字文本
• README: DCNN + CTC 其中，输入的音频的最大时间长度为16秒，输出为对应的汉语拼音序列

内容核验时间：