#3488 声音克隆到一般卡住不动了

185.36**2 Posted at: 6 months ago

image

7 Replies

#1 DeepSeek reply at 6 months ago

这是由于语音克隆(clone)角色配音时,参考音频片段时长不符合要求,导致外部TTS服务(如F5-TTS、CosyVoice等)处理失败,任务卡住。

解决方案:

  1. 调整语音识别参数:在软件顶部菜单栏,点击 工具/选项 -> 高级选项。

  2. 在 语音识别参数 区域,进行以下设置:

    • 最短语音持续毫秒:设置为 3000。

    • 最长语音持续秒数:设置为 10。

    • 选中 Whisper预分割音频?。

    • 选中 合并过短字幕到邻近。

  3. 这些设置确保语音识别生成的每条字幕对应的原始音频片段时长在3到10秒之间,这是多数语音克隆渠道对参考音频的时长要求。

  4. 重新启动翻译任务。

最佳实践补充:

  • 如果使用了克隆角色,建议同时选中主界面 设置更多参数 中的 分离人声背景声,以提高克隆质量。

  • 确保外部TTS服务(如F5-TTS、CosyVoice等)的API服务已正确启动且地址配置无误。

请查阅相关文档:

#2 185.36**4 reply at 6 months ago

image
在这个界面怎么操作给每句台词匹配克隆的音色

#3 DeepSeek reply at 6 months ago

这是由于需要为不同说话人(角色)分别指定克隆音色。

解决方案:在截图所示的“配音角色”下拉菜单中,选择 clone。

然后点击右侧的 “多角色配音” 按钮。

在弹出的“多角色配音”窗口中,系统会列出识别出的所有说话人(如 SPEAKER_00, SPEAKER_01 等)。

为每个说话人单独选择 clone 角色。

点击“确定”保存设置。

关键前提:必须已在 高级选项 - 语音识别参数 中开启并正确配置了说话人分离(如使用内置模型、Pyannote 或 CAM++)。

确保原始视频/音频中有清晰的多人对话,以便模型能区分不同说话人。

语音克隆(clone)需要外部TTS服务(如F5-TTS、CosyVoice、GPT-SoVITS等)支持,请确保相关服务已正确部署并配置了API地址。

请查阅相关文档:
原声克隆与多角色配音
说话人识别

#4 185.36**2 reply at 6 months ago

这段视频里有很多角色,但是clone出来的只有一个音色吗

#5 DeepSeek reply at 6 months ago

是的,如果只在下拉菜单中为整个视频选择 clone 角色,那么所有角色的配音都会使用同一个克隆音色(即克隆自原视频中某个或混合的说话人音色)。

要区分不同角色,必须使用“多角色配音”功能,为每个识别出的说话人单独指定 clone 角色。

这样,软件会为每个说话人克隆其对应的原始音色。

操作步骤:在“配音角色”下拉菜单选择 clone。

点击右侧的 “多角色配音” 按钮。

在弹出的窗口中,为每个列出的说话人(如 SPEAKER_00, SPEAKER_01)选择 clone。

点击“确定”。

关键前提:必须在 工具/选项 - 高级选项 - 语音识别参数 中,正确启用了“说话人分离”并选择了合适的模型(如内置模型、Pyannote 或 CAM++)。

确保原始视频中不同角色的语音清晰可辨,以便模型能有效分离。

请查阅相关文档:
原声克隆与多角色配音
说话人识别

#6 160.30**3 reply at 6 months ago

如何同时克隆出一段视频里不同角色的音色

#7 DeepSeek reply at 6 months ago

要同时克隆一段视频中不同角色的音色,核心是结合“说话人分离”与“多角色配音”功能。

解决方案:配置说话人分离:在软件顶部菜单栏,点击 工具/选项 - 高级选项。

在 语音识别参数 区域,找到 说话人分离模型。

选择一个模型(例如:内置模型、pyannote 或 CAM++)。

如果选择 pyannote,需要在 Huggingface的token 处填写你的有效Token。

设置 预计说话人数(可选,但建议填写与实际角色数接近的数字)。

调整语音识别参数以适配克隆:将 最短语音持续毫秒 设为 3000。

将 最长语音持续秒数 设为 10。

选中 Whisper预分割音频? 和 合并过短字幕到邻近。

这些设置确保为克隆提供的参考音频片段时长在3-10秒之间。

在主界面配置配音:在 配音渠道 行选择支持克隆的外部TTS服务(如 F5-TTS、CosyVoice、GPT-SoVITS 等)。

在 配音角色 下拉菜单中,选择 clone。

点击右侧的 “多角色配音” 按钮。

在弹出的“多角色配音”窗口中,系统会列出所有识别出的说话人(如 SPEAKER_00, SPEAKER_01)。

为每一个说话人都选择 clone 角色。

点击“确定”保存。

启动翻译任务。

软件将先进行语音识别并分离不同说话人,然后在配音阶段,为每个说话人克隆其对应的原始音色。

请查阅相关文档:
原声克隆与多角色配音
说话人识别
如何使用原视频中音色配音

Thinking...
Post Your Reply
If you have more than 50 messages, you will no longer receive an automatic reply. Please ask a new question!
Open source and free maintenance is not easy. If this project is helpful to you, please consider making a small donation to help the project continue to maintain and update.

Dondate via ko-fi.com

Related resource