#5486 视频自带字幕,或者有字幕文件的怎么克隆音色

116.172* Posted at: 1 day ago

视频自带字幕,或者有字幕文件的怎么克隆音色

1 Replies

视频自带字幕(硬字幕)软件无法直接提取文本,需要先用OCR工具转成SRT;如果是软字幕可以提取为SRT。
拥有SRT后,按以下步骤利用它进行音色克隆:

  1. 整理外部字幕

    • 将原始视频文件重命名为简短英文名(如 video.mp4)。
    • 在该视频同目录下创建 _video_out 文件夹,再在其中创建子文件夹,命名为 video-mp4(格式:文件名-视频格式)。
    • 将你的源语言字幕(如中文)复制到该子文件夹,重命名为 zh-cn.srt;如果你需要翻译后的目标语言字幕也准备好,放进去(不翻译时源和目标可以相同语言,但需两个文件)。
  2. 软件设置

    • 主界面选择该视频。
    • 发音语言和目标语言填写对应的正确代码(如 zh-cnzh-cn,不翻译则两者相同)。
    • 配音渠道选择支持克隆的渠道(如 Qwen-TTSOmniVoiceGPT-SoVITS 等),配音角色选择 clone
    • 语音识别和翻译渠道可随意,但软件检测到已有字幕文件会直接跳过ASR和翻译,进入配音合成。
  3. 关键优化(防止克隆报错或杂音)

    • 禁用LLM重新断句(在高级选项或主界面取消勾选)。
    • 进入 菜单 → 工具 → 高级选项 → 语音识别参数,将 最长语音持续秒数 设为 6~10最短语音持续毫秒 设为 3000~4000,并勾选 合并过短字幕到邻近
    • 在主界面点击 设置更多参数,勾选 分离人声背景声,使克隆参考音频更纯净。
    • 如果目标语言与源语言不同,翻译渠道推荐使用AI大模型(如DeepSeek)并勾选“发送完整字幕”。
  4. 执行
    点击开始执行,软件将依据你提供的字幕时间轴截取原视频对应音频片段作为参考,克隆原说话人音色进行配音并合成最终视频。

请查阅相关文档:

Post Your Reply
Open source and free maintenance is not easy. If this project is helpful to you, please consider making a small donation to help the project continue to maintain and update. Dondate: ko-fi.com/jianchang512

Related resource