modelscope/FunClip

项目概览

funclip 已将 Paraformer、Fun-ASR-Nano、SenseVoice、CAM++ 与大语言模型辅助选段整合进同一条视频剪辑流程。

项目类型

视频技术 · 语音音频

应用场景

翻译字幕 · 视频制作

部署方式

查看项目说明

License

MIT

适合谁

• 需要从访谈、课程、会议或演讲等语音主导型长视频中快速提取片段的内容创作者。
• 重视本地部署和原始素材隐私，同时希望保留可选智能剪辑能力的团队。
• 希望通过浏览器界面完成操作，或通过命令行把转写和剪辑接入已有流程的用户。

核心能力

• 已可用。系统使用 Paraformer、Fun-ASR-Nano 或 SenseVoice 对视频音轨进行语音识别，生成带时间信息的文本，为后续按内容定位和裁切视频提供依据。
• 已可用。系统将语音识别文本与 GPT、Qwen 等大语言模型结合，自动寻找符合要求的内容区间并提取视频片段，适合从长视频中发现摘要性或主题相关内容。
• 已可用。系统集成 CAM++ 识别不同说话人，并允许按照指定说话人编号筛选片段，可用于访谈、圆桌讨论等多人语音素材。
• 已可用。用户可以把实体词或人名设置为热词，由 SeACo-Paraformer 在识别过程中增强相关词语的识别效果，适合包含专有名词的垂直领域素材。
• 已可用。用户可以从转写文本中自由选择多个不连续片段，系统据此完成裁切，并返回完整视频及目标片段对应的 SRT 字幕。
• 已可用。项目通过 Gradio 提供网页界面，可在本机启动，也可部署到服务器后通过浏览器访问，适合不希望直接操作命令行的用户。
• 已可用的部分是通过 Paraformer 英语模型识别并剪辑英语音频；Whisper 支持仍处于计划状态，不应将其视为当前可直接使用的完整方案。
• 已可用。项目提供命令行工具执行视频识别和裁切，适合开发者进行重复处理、脚本调用或集成到已有工作流。

限制与风险

• Fun-ASR-Nano 检查点不能提供可靠的字符级时间戳，因此不宜用于要求精确文本边界的裁切；这类场景推荐使用 Paraformer。
• Whisper 英语模型支持仍处于计划状态，并被指出需要大量显存；当前英语识别与剪辑应以已经支持的 Paraformer 英语模型为准。
• 导出 SRT 与把字幕嵌入视频不是同一依赖条件；后者需要用户额外手动安装 ffmpeg 和 imagemagick。
• 使用大语言模型辅助剪辑或 TwelveLabs 接口可能需要付费密钥并产生费用，相关内容也可能离开纯本地处理边界；选型时应确认供应商、预算和数据政策。

如何开始

• 推荐的首次运行流程是克隆仓库、进入项目目录、使用 pip 安装 requirements.txt 中的依赖，然后运行 funclip/launch.py 启动 Gradio 界面。
• 首次成功应优先使用默认 Paraformer-Large 完成一次视频转写、文本选段和片段导出，再按需求增加热词、说话人识别或外部智能剪辑服务。
• 如果目标不仅是导出 SRT，而是把字幕嵌入裁切后的视频，需要手动安装可选的 ffmpeg 和 imagemagick。

核验依据

• GitHub 项目简介: FunASR-powered video transcription, subtitle generation, and LLM-assisted clipping tool with a local Gradio UI.
• README: **FunClip** is a fully open-source, locally deployed automated video clipping tool.
• README: The functionalities are realized through Gradio interaction, offering simple installation and ease of use. It can also be deployed on a server and accessed via a browser.
• README: 🔥2024/05/13 FunClip v2.0.0 now supports smart clipping with large language models, integrating models from the qwen series, GPT series, etc., providing default prompts. You can al…
• README: FunClip now supports Fun-ASR-Nano and SenseVoice models. The `fun-asr-nano` option loads the flagship Fun-ASR-Nano-2512 checkpoint for Mandarin, English, Japanese, 7 Chinese diale…

内容核验时间：