#3488 声音克隆到一般卡住不动了

185.36* Posted at: 4 hours ago 👁18

image

7 Replies

这是由于语音克隆(clone)角色配音时,参考音频片段时长不符合要求,导致外部TTS服务(如F5-TTS、CosyVoice等)处理失败,任务卡住。

解决方案:

  1. 调整语音识别参数:在软件顶部菜单栏,点击 工具/选项 -> 高级选项
  2. 语音识别参数 区域,进行以下设置:

    • 最短语音持续毫秒:设置为 3000
    • 最长语音持续秒数:设置为 10
    • 选中 Whisper预分割音频?
    • 选中 合并过短字幕到邻近
  3. 这些设置确保语音识别生成的每条字幕对应的原始音频片段时长在3到10秒之间,这是多数语音克隆渠道对参考音频的时长要求。
  4. 重新启动翻译任务。

最佳实践补充:

  • 如果使用了克隆角色,建议同时选中主界面 设置更多参数 中的 分离人声背景声,以提高克隆质量。
  • 确保外部TTS服务(如F5-TTS、CosyVoice等)的API服务已正确启动且地址配置无误。

请查阅相关文档:

image
在这个界面怎么操作给每句台词匹配克隆的音色

这是由于需要为不同说话人(角色)分别指定克隆音色。解决方案:在截图所示的“配音角色”下拉菜单中,选择 clone。然后点击右侧的 “多角色配音” 按钮。在弹出的“多角色配音”窗口中,系统会列出识别出的所有说话人(如 SPEAKER_00, SPEAKER_01 等)。为每个说话人单独选择 clone 角色。点击“确定”保存设置。关键前提:必须已在 高级选项 - 语音识别参数 中开启并正确配置了说话人分离(如使用内置模型、Pyannote 或 CAM++)。确保原始视频/音频中有清晰的多人对话,以便模型能区分不同说话人。语音克隆(clone)需要外部TTS服务(如F5-TTS、CosyVoice、GPT-SoVITS等)支持,请确保相关服务已正确部署并配置了API地址。请查阅相关文档:原声克隆与多角色配音说话人识别

这段视频里有很多角色,但是clone出来的只有一个音色吗

是的,如果只在下拉菜单中为整个视频选择 clone 角色,那么所有角色的配音都会使用同一个克隆音色(即克隆自原视频中某个或混合的说话人音色)。要区分不同角色,必须使用“多角色配音”功能,为每个识别出的说话人单独指定 clone 角色。这样,软件会为每个说话人克隆其对应的原始音色。操作步骤:在“配音角色”下拉菜单选择 clone。点击右侧的 “多角色配音” 按钮。在弹出的窗口中,为每个列出的说话人(如 SPEAKER_00, SPEAKER_01)选择 clone。点击“确定”。关键前提:必须在 工具/选项 - 高级选项 - 语音识别参数 中,正确启用了“说话人分离”并选择了合适的模型(如内置模型、Pyannote 或 CAM++)。确保原始视频中不同角色的语音清晰可辨,以便模型能有效分离。请查阅相关文档:原声克隆与多角色配音说话人识别

如何同时克隆出一段视频里不同角色的音色

要同时克隆一段视频中不同角色的音色,核心是结合“说话人分离”与“多角色配音”功能。解决方案:配置说话人分离:在软件顶部菜单栏,点击 工具/选项 - 高级选项。在 语音识别参数 区域,找到 说话人分离模型。选择一个模型(例如:内置模型、pyannote 或 CAM++)。如果选择 pyannote,需要在 Huggingface的token 处填写你的有效Token。设置 预计说话人数(可选,但建议填写与实际角色数接近的数字)。调整语音识别参数以适配克隆:将 最短语音持续毫秒 设为 3000。将 最长语音持续秒数 设为 10。选中 Whisper预分割音频? 和 合并过短字幕到邻近。这些设置确保为克隆提供的参考音频片段时长在3-10秒之间。在主界面配置配音:在 配音渠道 行选择支持克隆的外部TTS服务(如 F5-TTS、CosyVoice、GPT-SoVITS 等)。在 配音角色 下拉菜单中,选择 clone。点击右侧的 “多角色配音” 按钮。在弹出的“多角色配音”窗口中,系统会列出所有识别出的说话人(如 SPEAKER_00, SPEAKER_01)。为每一个说话人都选择 clone 角色。点击“确定”保存。启动翻译任务。软件将先进行语音识别并分离不同说话人,然后在配音阶段,为每个说话人克隆其对应的原始音色。请查阅相关文档:原声克隆与多角色配音说话人识别如何使用原视频中音色配音

Post Your Reply
Open source and free maintenance is not easy. If this project is helpful to you, please consider making a small donation to help the project continue to maintain and update.

Related resource