krillinai/KrillinAI

项目概览

它将视频本地化流水线封装为可被 AI Agent 调用的分阶段 Skills，支持从素材获取到成片输出的自动化处理。

项目类型

AI Agent · 视频技术 · 语音音频

应用场景

翻译字幕 · 视频制作

部署方式

查看项目说明

License

GPL-3.0

适合谁

• 需要将视频内容进行多语言翻译和配音，并分发至不同平台的跨平台创作者。
• 希望通过 AI Agent 和 CLI 工具实现视频本地化自动化编排的开发者与团队。

核心能力

• 支持通过 yt-dlp 下载视频，同时也允许用户导入本地视频文件进行处理。
• 基于 Whisper 提供语音转文字能力，并支持 FasterWhisper、WhisperCpp、WhisperKit 等本地模型以及阿里云 ASR 等云端服务。
• 利用大语言模型对原始转录文本进行语义理解与段落对齐，实现字幕的分割。
• 在翻译过程中支持对专业词汇和术语进行替换处理。
• 借助大语言模型（兼容 OpenAI、Gemini、DeepSeek 等）结合上下文语境进行翻译，生成翻译文本。
• 集成 CosyVoice 及多家云端 TTS 服务，提供多音色文本转语音配音。需注意语音克隆功能当前要求选择阿里云作为 TTS 服务提供商。
• 自动处理横屏与竖屏视频的画面布局与字幕排版，以适配不同平台的要求。
• 提供命令行交互接口，流水线各阶段可独立执行操作，并输出结构化的 JSON 格式结果。

限制与风险

• 语音克隆特性目前要求必须选择阿里云作为 TTS 服务提供商才能使用。
• 软件未经签名，macOS 用户需手动信任应用，并可能需要执行终端命令运行。
• 当前桌面版本可能存在一些 Bug 且仍在更新中，在某些环境下可能需要进行复杂的配置。

如何开始

• 从 Release 页面下载对应操作系统的桌面版应用，双击运行。需注意应用未经签名，macOS 用户需手动信任；随后在图形界面中配置所需的第三方 API 密钥后即可使用。

核验依据

• Release: v2.1.0
• README: KrillinAI is a versatile audio and video localization and enhancement solution developed by the Krillin AI team, designed for both human users and AI Agents.
• README: 🤖 **CLI Support**: Provides a phased command-line interface where each stage executes independently and outputs structured results, supporting cross-stage artifact reuse. 🧩 **Skil…
• README: 📥 **Video Acquisition**: Supports yt-dlp downloads or local file uploads 📜 **Accurate Recognition**: High-accuracy speech recognition based on Whisper 🧠 **Intelligent Segmentation…
• README: | **FasterWhisper** | Windows/Linux | `tiny`/`medium`/`large-v2` (recommended medium+) | Local | Faster speed, no cloud service cost | | **WhisperKit** | macOS (M-series only) | `…

内容核验时间：