#8814 配音,MOSS-TTS、F5 TTS、gpt TTS、ZipVoice,这几个TTS的速度和音质对比

218.76**2 Posted at: 21 hours ago

配音,MOSS-TTS、F5 TTS、gpt TTS、ZipVoice,这几个TTS的速度和音质对比

7 Replies

#1 DeepSeek reply at 21 hours ago

知识库中没有这四个渠道的横向速度/音质基准测试数据,因此无法给出量化的排名对比。以下基于知识库中明确记载的参数事实做客观归纳,供选型参考。

1. 各渠道已知事实

渠道类型GPU 加速模型规模语言推荐度
F5-TTS(内置)本地内置✅ 支持约 1.35G(中英)中英日法德俄意、西、印地、阿拉伯⭐⭐⭐
ZipVoice中英(内置)本地内置❌ 固定 CPU 运行未注明中、英⭐⭐⭐ 推荐
MOSS-TTS-Nano(内置)本地内置❌ 不支持100M(Nano 级小模型)中英德西法日意匈韩俄波斯阿波兰葡捷瑞典希腊土耳其 18 种⭐⭐
GPT-SoVITS本地 API(需自行部署)取决于你的部署取决于你部署的模型中英日韩粤⭐⭐⭐ 推荐
OpenAI TTS在线云 API不涉及(云端)—由 OpenAI 服务决定⭐⭐⭐

2. 可推断的速度关系(非官方基准)

  • 纯 CPU 运行的两个渠道(ZipVoice、MOSS-TTS-Nano)不占用显存,但与 GPU 加速渠道比,长文本合成耗时明显更长;MOSS-TTS-Nano 只有 100M 参数,通常比同类的全尺寸模型更快。
  • F5-TTS 支持 CUDA,显卡可用时速度显著快于纯 CPU 渠道。
  • GPT-SoVITS 是本地 API 部署,速度完全取决于你机器上的部署情况与硬件。
  • OpenAI TTS 是在线服务,速度主要受网络与接口限流影响,与本地显卡无关。

3. 音质

知识库未对这几者做音质评测,只给出推荐度星级:F5-TTS、ZipVoice、GPT-SoVITS、OpenAI TTS 均为 ⭐⭐⭐,MOSS-TTS-Nano 为 ⭐⭐。音质优劣还与发音语言、音色、参考音频质量强相关——尤其 clone 角色的效果会因从原视频裁切的参考音频质量而大幅波动。

4. 建议

  1. 先用各自同一段 100 字左右的文本分别合成一次,用实际耗时和试听结果做对比,这是唯一可靠方法。
  2. 追求免费+支持语种多 → Edge-TTS;需要克隆原音色且有声卡 → F5-TTS(有 CUDA 时)。
  3. 显存紧张或只有 CPU → ZipVoice 或 MOSS-TTS-Nano。
  4. 追求最高音质且能接受成本与网络依赖 → OpenAI TTS 等在线商业 API。
  5. 用 clone 角色时,请确保 高级选项 → 语音识别参数 → 最短语音持续(毫秒) ≥ 3000,否则参考音频过短会导致克隆效果差。

请查阅相关文档:

#2 218.76**2 reply at 21 hours ago

以我的经验说,ZipVoice、MOSS-TTS音质最差,不管是克隆音色还是指定音色,都有滋滋滋、啪啪啪的声音,像劣质音响发出的声音,太难听,但是ZipVoice是真快,一条时间戳,1-2秒就完成了。F5 TTS,音质还可以,但有缺点,会出现原视频的声音,会吞音,会突然速度很快

#3 DeepSeek reply at 21 hours ago

你描述的 F5-TTS 三个问题在知识库的机制描述中都能找到对应成因,其中"突然变快"和"混入原声"基本是可控的设置问题,不是模型本身的缺陷;而 ZipVoice、MOSS-TTS 的底噪杂音,知识库没有记载确切成因。

一、F5-TTS「突然速度很快」——这是「配音加速」在起作用

翻译后文本变长,某句配音时长超出原字幕时间槽,程序会自动对该句配音做倍速播放以强行对齐。加速倍数过高时听起来就是"突然变快、失真"。

对策(按效果排序):

  1. 高级选项 → 字幕翻译 → 进一步精简翻译结果:译文变短,从源头减少超长。
  2. 在单视频模式的配音校对面板中,对超长行手动延长结束时间或删减文字后重新配音(面板会显示 x.xxs <超出> x.xxs 提示)。
  3. 勾选「视频慢速」而非只依赖「音频加速」,让画面分担一半时间差(两者同选时不受单项倍率限制,音频加速压力明显减小)。
  4. 高级选项 → 字幕声音画面对齐 → 音频加速最大倍数 调低,可限制单句最大加速倍数(代价是该句会与后续字幕重叠)。

二、F5-TTS「吞音」——大概率是静音移除力度过大

高级选项 → 字幕配音 里若勾选了「移除每条字幕配音全部静音缓冲」,且「静音移除力度」为 max,程序会把字头、字尾以及句中呼吸一起削掉,表现为吞字。

  • 改为 low,或退回只勾选「移除每条字幕配音开头结尾静音缓冲」。
  • 另外单条字幕过短(低于 1 秒)也容易被削,可调高「最短语音持续(毫秒)」。

三、F5-TTS「出现原视频的声音」——两种可能

  1. 若未勾选「分离人声背景声」,clone 角色的参考音频是从原始音轨动态裁切的,片段里必然带原说话人声音和背景声;再叠加「重新嵌入背景声」,容易听出原声残留。勾选「分离人声背景声」可让参考音频和人声都更干净。
  2. 若「配音加速」和「视频慢速」都不选,程序会按原字幕时间轴强行拼接音频片段、差异时间用静音填充,知识库明确记载这种情况下"可能造成声音阶段性重叠或断层"——你听到的串音属于这一类。

四、ZipVoice / MOSS-TTS 的「滋滋、啪啪」杂音

知识库没有该现象的确切成因记载,无法给出定论。但可以核对以下已被明确要求的条件:

  • 参考音频必须为 WAV、单声道、3~10 秒、无底噪,存于 软件目录/f5-tts/,并在 菜单 → TTS设置 → 设置参考音频 按 文件名#对应文字 格式登记。
  • 使用 clone 时,最短语音持续(毫秒) 必须 ≥ 3000。
  • MOSS-TTS-Nano 是 100M 参数的纯 CPU 小模型,知识库推荐度仅 ⭐⭐(ZipVoice 为 ⭐⭐⭐),音质上限本身有限。你提到"指定音色(非 clone)也有杂音",那问题就与参考音频无关,属于模型在 CPU 上的合成质量问题,知识库无进一步可调项。

五、按你的实测给出的分工建议

  • 需要快速出片、能容忍音质:ZipVoice(固定 CPU 运行,你实测 1~2 秒/条符合其定位)。
  • 追求可用音质:F5-TTS,Cuda 可用时自动加速,配合上面第一、二项的调参,吞音和突变基本可控。
  • 若在意音质又不想调参:直接用 Edge-TTS(免费、支持全部内置语言),或 Qwen3-TTS / Confucius / OmniVoice 等内置克隆渠道。

请查阅相关文档:

#4 218.76**2 reply at 21 hours ago

F5 TTS出现的问题,如:突然速度很快。你给出的对策都不准。我是在没用“配音加速”的情况下,只用画面加速,也会出现语速时快时慢。“吞音”的情况下,我选“静音移除力度”为最小,也会出现。

#5 DeepSeek reply at 21 hours ago

你说得对,我上一轮的对策不适用。在未勾选「配音加速」、只勾选「视频慢速」的情况下,按知识库记载的对齐引擎逻辑(SpeedRate 策略),程序只放慢画面,不会对配音音频做任何变速处理。因此语速忽快忽慢不可能来自对齐阶段,我之前的解释方向错了。

一、语速时快时慢:最可能是 clone 动态裁切参考音频导致的

F5-TTS 是逐条字幕独立合成的。clone 角色下,每条字幕用的参考音频不是同一段,而是程序从原视频对应时间段动态裁切出来的片段。知识库 FAQ 对此有明确描述:这样裁出的片段"可能时长不合适、有背景噪声、或开头结尾强行中断一句话、或中间有停顿反复,也就是参考音频质量不可控"。F5-TTS 会模仿参考音频的语速与韵律——参考片段本身一句快一句慢、一句完整一句半截,合成结果就一句快一句慢。这不是加速造成的,是参考音频逐句不同造成的。

验证与解法:改用固定参考音频

  1. 自行录制或截取一段 3~10s、单声道、发音清晰无底噪的 wav。
  2. 放到 软件目录/f5-tts/ 文件夹(不存在就新建)。
  3. 打开 菜单 → TTS设置 → 设置参考音频,按 文件名.wav#该音频对应的文字 格式逐行填写,例如 ref1.wav#今天我们来聊一聊这个话题。
  4. 回到主界面,在 配音角色 里选择这条参考音频(不要再选 clone)。

这样全片所有句子共用同一段参考音频,语速和音色才会稳定一致。若换成固定参考音频后语速仍忽快忽慢,则属 F5-TTS 模型自身在该 CPU/GPU 环境下的推理问题,知识库无进一步可调项。

二、吞音:静音移除力度设 low 仍复现,说明不是静音移除导致的

知识库没有"吞音"这一现象的记载,无法给结论。但可以用一个明确的方法定位到底是哪一环节吞的:

  1. 菜单 → 工具/选项 → 高级选项 → 字幕配音 → 勾选 保留每条字幕的配音文件。
  2. 正常跑一次视频翻译。
  3. 到该视频的输出目录里逐条试听单句配音 wav。

    • 若单句 wav 本身就已经吞字 → 问题在 F5-TTS 合成阶段(模型本身或参考音频),与静音移除、拼接都无关。
    • 若单句 wav 是完整的、进了成片才吞 → 问题在后续拼接/对齐阶段。

三、请先确认版本号不低于 v4.18

v4.18 更新日志中包含 fix(align): in video slow-down, end the last slot where the video ends(修复视频慢速时末段槽位结束位置)和 fix(tts): apply peak normalization and the silence settings when re-dubbing with built-in channels。你正是"只启用视频慢速"的场景,若版本低于 v4.18,末段处理可能异常。请查看软件左上角版本号,低于该版本请下载最新完整包或补丁包覆盖(注意 _internal、videotrans 文件夹需一并覆盖,并清理旧目录下的 __pycache__)。

四、若以上均排除后仍复现

请提供:软件版本号、是否使用 clone 角色、单句 wav 与成片的对比结果,以及 logs/ 目录下最新日志文件底部约 30 行内容。

请查阅相关文档:

#6 218.76**2 reply at 21 hours ago

“F5-TTS 会模仿参考音频的语速与韵律——参考片段本身一句快一句慢、一句完整一句半截,合成结果就一句快一句慢。”
你说不准,参考音频一句快一句慢,可能会有,但是F5快的速度明显不正常,不是原视频的快,是超几倍的快

#7 DeepSeek reply at 21 hours ago

你的反驳成立。参考音频能带偏的是"一句话内部的轻微韵律差异",不可能产生超出原声数倍的加速。我上一轮的解释在这个现象上不适用,撤回。

一、按知识库能确定的部分

对齐引擎(SpeedRate)在"仅启用视频慢速、未启用配音加速"时,按记载只对画面执行 setpts 慢放,不改动配音音频的播放速率。也就是说,配音音频的倍速如果在成片里出现,不是这一步产生的——除非实际生效的选项与你以为的不一致。

知识库中明确记载会"将该句配音音频倍速播放"的机制只有「配音加速」(voice_autorate)。而知识库同时明确写明:「配音加速」默认是选中的。

二、请先确认两件事(这是知识库能提供的唯一确定路径)

  1. 主界面「配音加速」是否真的处于未勾选状态。该项默认勾选,且界面上它和「视频慢速」相邻,容易误判。可用一个反证法确认:若「视频慢速」确实被选中,界面上不会出现「删字幕间静音」和「对齐字幕声音」这两个选项(知识库记载这两项仅在配音加速与视频慢速均未选中时才显示)。若界面上仍能看到这两项,说明选项状态与你理解的不同。
  2. 单视频模式下,第三阶段(配音校对面板)允许再次切换「配音加速」和「视频慢速」,该面板的勾选状态可能与主界面不一致,知识库有明确说明。请检查你在该面板里做出的选择。

另外请确认重跑时勾选了「清理已生成」,否则会复用上次已生成的配音和成片文件,看到的是旧结果。

三、如果确认选项无误,则成因超出知识库记载范围

知识库没有"配音音频出现数倍异常加速"这一现象的成因条目,我不做推测。请用能定位环节的方式跑一次:

菜单 → 工具/选项 → 高级选项 → 字幕配音 → 勾选「保留每条字幕的配音文件」 → 重跑(务必勾选「清理已生成」)→ 到输出目录逐条试听单句 wav。

  • 单句 wav 本身已异常 → 问题在 F5-TTS 合成阶段。
  • 单句 wav 正常、成片才异常 → 问题在拼接/对齐阶段。
  • 单句 wav 时长正常但采样率异常(例如 24kHz 与 48kHz 混用)也会表现为成片变速,可用播放器或 ffprobe 查看该 wav 的采样率是否为 48kHz 立体声。

四、版本

v4.18 更新日志中含 fix(align): in video slow-down, end the last slot where the video ends,直接对应"视频慢速"场景。请核对左上角版本号,低于 v4.18 需用最新完整包或补丁包覆盖(_internal、videotrans 一并覆盖,并清理旧目录中的 __pycache__)。

若以上均排除后仍复现,请提供:软件版本号、上述单句 wav 的试听结果与采样率、以及 logs/ 目录下最新日志文件底部约 30 行内容。

请查阅相关文档:

Thinking...
Post Your Reply
If you have more than 50 messages, you will no longer receive an automatic reply. Please ask a new question!
Open source and free maintenance is not easy. If this project is helpful to you, please consider making a small donation to help the project continue to maintain and update.

Dondate via ko-fi.com

Related resource