#5750 豆包语音合成模型2.0是哪个模型

103.17* Posted at: 4 days ago

豆包语音合成模型2.0
是哪个模型

11 Replies

豆包语音合成模型2.0 在 pyVideoTrans 中对应的配音渠道是 字节语音合成2.0(位于专业云服务分类下)。该渠道由字节跳动提供,支持多种中文音色,模型和音色列表由字节云端 API 自动管理,无需手动指定具体模型名称。

如需了解详细配置(如音色选择、API Key 填写),请查看官方文档:

请查阅相关文档:

配音全部失败 {'reqid': '', 'code': 55000000, 'message': 'resource ID is mismatched with speaker related resource'}
Traceback (most recent call last):
File "videotrans\task\only_one.py", line 86, in run
File "videotrans\task\trans_create.py", line 667, in dubbing
File "videotrans\task\trans_create.py", line 990, in _tts
File "videotrans\tts\__init__.py", line 192, in run
File "videotrans\tts\_base.py", line 147, in run
videotrans.configure.excepts.DubbingSrtError: 配音全部失败 {'reqid': '', 'code': 55000000, 'message': 'resource ID is mismatched with speaker related resource'}

cfg=[TaskCfgVTT]当前工作模式: 翻译视频或音频 单视频模式
原始输入文件名: C:/Users/phf/Videos/下载 (38).mp4,
输出结果保存到文件夹: C:/Users/phf/Documents/下载 (38)-mp4,
临时文件夹: D:/win-pyvideotrans-v4.03-0626/tmp/8976/8c6fc67439
已选 清理已存在
已选 启用CUDA加速
未选 降噪
语音识别:faster-whisper(本地内置), model_name: large-v3-turbo, 发音语言: 简体中文, 断句方式:默认断句
翻译渠道:Google(免费),原始语言:简体中文,目标语言:th, 已选 发送完整字幕
配音渠道:豆包语音合成模型2.0, 角色:clone, 配音语言:th, 未选 二次语音识别
音量:+0%, 语速:+0%, 未选 音频加速, 已选 视频慢速
字幕: 不嵌入字幕
已选 仅输出mp4
代理地址:http://127.0.0.1:7897

该错误是因为豆包语音合成模型2.0 不支持 clone(原音色克隆)角色。

错误信息 resource ID is mismatched with speaker related resource 表明 API 收到一个不存在或无效的说话人 ID:当你选择 clone 时,软件会尝试截取原始视频音频片段作为参考发送到豆包 API,但豆包语音合成2.0 的接口并未设计为接收动态参考音频,因而抛出资源不匹配。

解决方案:

  1. 更换配音渠道:改用支持原音色克隆的渠道,例如

    • Qwen-TTS(本地内置)
    • F5-TTS(本地内置)
    • OmniVoice-TTS
    • GPT-SoVITS
      这些渠道明确支持 clone 角色。
  2. 直接选择一个固定的泰语音色:在豆包语音合成2.0 渠道的配音角色列表中,选择一个具体的泰语发音人(如“泰语女声”等),而不是选择 clone

请查阅相关文档:

豆包有支持克隆的模型吗

豆包语音合成2.0 不支持声音克隆。如需使用原音色克隆,请改用以下渠道(均支持 clone 角色):

  • Qwen-TTS(本地内置)
  • F5-TTS(本地内置)
  • OmniVoice-TTS
  • GPT-SoVITS
  • CosyVoice 等

具体配置及参考音频要求请查阅相关文档。

中文视频 克隆成泰语发音 用什么最好

中文视频克隆为泰语发音,推荐使用以下支持泰语且支持原音色克隆的渠道(按推荐度排序):

  1. Confucius4-TTS(本地 API,需自行部署)—— 明确支持泰语克隆,支持中文、英文、日语、韩语、德语、法语、西班牙语、印尼语、意大利语、泰语、葡萄牙语、俄语、马来语、越南语等 14 种语言。
  2. OmniVoice-TTS(本地 API,需自行部署)—— 声称支持几乎所有语言,泰语理论上可用,且克隆效果优秀。
  3. Qwen-TTS(本地内置) —— 支持中英日韩等 10+ 种常见语言,泰语是否支持未明确列出,但可尝试。若你希望免部署直接用,可优先测试此渠道,克隆时请确保将最短语音持续毫秒设为 3000 以上,最长语音持续秒数设为 6~10
注意:使用克隆角色时,务必在“设置更多参数”中勾选分离人声背景声,并关闭 LLM 重新断句,以获得最佳音质。

泰语发音音色最多是那个

泰语预设音色最多的渠道是 Azure TTS(微软专业级语音服务),它提供了大量不同风格和性别的泰语发音人(包括男女声、自然、新闻、抒情等),且质量稳定。其他渠道如 Elevenlabs.io 也支持多种泰语音色,但需付费且音色数量通常少于 Azure。如果免费使用且不苛求数量,可尝试 Edge-TTS,其泰语发音人较少但基本可用。请查阅相关文档:Azure TTS 使用说明Elevenlabs.io 使用说明

免费或者本地部署的 泰语预设音色最多的渠道、

在免费或本地部署的配音渠道中,Confucius4-TTS(本地 API,需自行部署) 是目前泰语预设音色最多的渠道。它明确支持泰语,并提供多个预设发音角色(通常包含男女声、不同风格),适合需要丰富泰语选项的场景。如果你不想自行部署,也可以尝试 Edge-TTS(免费在线),其泰语音色数量较少但开箱可用。请查阅相关文档:Confucius4-TTS 等本地部署 TTS 说明(注:该页面涵盖多种本地 TTS 渠道,包括 Confucius4-TTS)

Post Your Reply
Open source and free maintenance is not easy. If this project is helpful to you, please consider making a small donation to help the project continue to maintain and update.

Dondate via ko-fi.com

Dondate via PayPal

Related resource