#5916 为什么使用Qwen3-TTS克隆声音之后,翻译就变得非常非常的慢,而使用其他声音就很快

16.163* Posted at: 2 hours ago

为什么使用Qwen3-TTS克隆声音之后,翻译就变得非常非常的慢,而使用其他声音就很快

18 Replies

主要原因:克隆模式使用本地 Qwen3-TTS 模型,且未启用 GPU(CUDA)加速,导致 CPU 推理极慢

其他非克隆角色(如 Edge-TTS)是网络 API,几乎不消耗本地算力,而克隆需要逐条裁切参考音频并调用本地模型推理,对显卡依赖性极高。

解决方案:

  1. 确保已勾选「CUDA 加速」(主界面)

    • 必须拥有 NVIDIA 显卡且正确安装 CUDA 12.8+、cuDNN 9.11+
    • 可通过命令 nvcc -Vnvidia-smi 验证
  2. 若无独立显卡,克隆速度无法通过软件优化,建议改用:

    • 在线克隆 API(如 ElevenLabs / 阿里百炼 Qwen-TTS,需 API 密钥)
    • 或更换为非克隆的本地 TTS 渠道(如 Edge-TTS / Piper)
  3. 优化克隆参数减少处理量

    • 进入 菜单 → 工具 → 高级选项 → 语音识别参数
    • 设置「最长语音持续秒数」= 10
    • 设置「最短语音持续毫秒」= 3000
    • 勾选「合并过短字幕到邻近」
  4. 若仍卡慢,可关闭「分离人声背景声」(该步骤纯 CPU 运算,非常耗时)

请查阅相关文档:

如何关闭分离人声背景声,在线克隆 API(如 ElevenLabs / 阿里百炼 Qwen-TTS,需 API 密钥)这些有免费的吗

关闭分离人声背景声:在主界面点击「设置更多参数」,取消勾选「分离人声背景声」即可。该功能使用纯 CPU 处理,取消后能显著提升处理速度。

在线克隆 API 的免费问题:ElevenLabs 提供免费注册试用额度(每月约 10,000 字符),阿里百炼 Qwen-TTS 也有免费调用量(需创建应用并获取 API Key)。但具体免费政策可能随时调整,建议前往各服务商官网确认。如果不希望产生费用,完全可以使用本地内置的免费克隆渠道(如 Qwen3-TTS / F5-TTS / OmniVoice / Confucius 等),但务必勾选「CUDA 加速」且配置好 NVIDIA 显卡环境,否则 CPU 运行会非常慢。

我翻译出来的字幕里面有很多省略号 这个怎么去掉

省略号通常由翻译渠道(尤其是 AI 大模型)自动生成,软件本身没有专门去除省略号的独立开关。你可以按以下顺序解决:


1. 最简单方法:启用「删除标点」

在主界面点击 「设置更多参数」 → 将 「删除标点」 改为选中状态(非「恢复标点」)。
这会自动删除字幕末尾的标点符号(包括省略号)。如果希望保留其他标点而仅删除省略号,则不适合此项。


2. 修改翻译提示词(适用 AI 翻译渠道)

进入 软件目录/videotrans/prompts/srt/software_dir/videotrans/prompts/text/ 文件夹,找到对应的提示词文件(如 default.txtdeepseek.txt),在提示词末尾添加一句:

禁止使用省略号(...)!

修改后保存文件,清空翻译缓存(删除 tmp/translate_cache/ 目录下的所有文件),然后重新执行翻译。

注意:如果选中「发送完整字幕」,修改 srt/ 文件夹下的提示词;否则修改 text/ 文件夹下的提示词。

3. 后期手动清理(如已翻译完成)

如果只是少量字幕文件,直接用文本编辑器(记事本)打开生成的 .srt 文件,批量替换 ... 为空格或直接删除。
若是大批量文件,可参考知识库中的「导入本地已有 SRT 字幕」方法:先修改好字幕文件,再重新导入软件执行后续配音/合成流程。


4. 根本性改善:更换翻译渠道或模型

如果 AI 渠道经常生成省略号,可尝试:

  • 改用 传统翻译渠道(Google 翻译、微软翻译),它们不生成省略号。
  • 如果必须用 AI,升级为更高智能的模型(如 DeepSeek V4 / GPT-5 系列),降低输出瑕疵。

请查阅相关文档:

有办法将克隆语言变成Edge-TTS里这种网络 API吗

没有。Edge-TTS 本身是 支持音色克隆的,它只能使用微软预设的音色。软件内支持克隆的渠道(如 Qwen-TTS、F5-TTS、OmniVoice 等)均为 本地模型,必须在你的电脑上运行(需要 NVIDIA 显卡 + CUDA 加速)。如果你希望使用在线 API 实现克隆,目前软件内只有 ElevenLabs(有免费额度但用完收费)和 阿里百炼 Qwen-TTS(有免费调用量)这类收费或有限度的云端服务。它们不是完全免费的,但网络调用不需要本地显卡算力。总结:免费的克隆只能走本地模型(慢是因为没配好 GPU),想要网络 API 克隆就必须花钱或使用有限免费额度。

Edge-TTS 是内置的模型 不需要网络吗

Edge-TTS 不是内置模型,它需要联网。它是微软提供的在线 TTS 服务,每次配音都会向微软的服务器发送请求并获取音频,完全依赖网络。如果断网或无法连接 api-edge.cognitive.microsoft.com,Edge-TTS 就无法工作,会报错。这一点与 Qwen3-TTS、F5-TTS 等本地内置模型不同,后两者首次下载模型后可以离线运行。

我本地是RTX4060Ti 为啥克隆还这么慢

RTX 4060Ti 支持 CUDA,克隆慢的核心原因通常不是显卡不行,而是软件未正确调用显卡。请按以下顺序排查:1. 确认已勾选「CUDA 加速」 在主界面底部或高级选项中,必须勾选 CUDA 加速,否则软件会用 CPU 推理,速度极慢。2. 验证 CUDA 环境 打开命令提示符,输入 nvcc -V 查看版本是否为 12.8+,输入 nvidia-smi 确认驱动支持该版本。若版本不符,需重新安装 CUDA 12.8 和 cuDNN 9.11。3. 检查显存是否充足 克隆模式中,Qwen3-TTS 等模型会逐条调用 GPU 推理,每个片段约需 2-4GB 显存。如果显存被其他程序(如浏览器)占用,可能触发显存溢出导致 CPU 回退。建议关闭其他占用显卡的程序。4. 优化克隆参数 进入「菜单 → 工具 → 高级选项 → 语音识别参数」: - 设置「最长语音持续秒数」= 10 - 设置「最短语音持续毫秒」= 3000 - 勾选「合并过短字幕到邻近」 这能减少拼接片段数量,降低推理次数。5. 排查模型文件 首次使用克隆渠道时会自动下载模型。如果下载不完整,可能会使用 CPU 回退。可检查 models/ 目录下 models--Qwen--Qwen3-TTS-12Hz-0.6B-Base 等文件夹是否完整(约 1.5GB+)。6. 关闭分离人声背景声 如果你的克隆任务中还勾选了「分离人声背景声」,那个步骤是纯 CPU 运算,也会拖慢整体速度。取消勾选即可。如果以上均正确,请提供 logs/ 目录下最新日志的前后 30 行,以便进一步分析。

qwen-tts本身就很慢,linux上部署安装flash-attn 能加快速度,win没好办法,除非使用某些量化模型,但软件仅支持官方默认模型

F5-TTS 配音渠道这些有哪些能稍微快一些的吗?大佬
使用Edge-TTS 简直神速 超级快

明白了,你追求的是速度,Edge-TTS 确实是软件内最快的配音渠道,因为它直接调用微软云端服务,几乎不需要本地计算。本地克隆模型(无论是 Qwen3-TTS 还是 F5-TTS)都必须经过模型加载和逐条推理,注定比网络 API 慢数倍,这是物理瓶颈。针对你的问题:「F5-TTS 配音渠道这些有哪些能稍微快一些的?」——在 本地内置的克隆渠道 中,速度通常由模型大小和复杂度决定,以下是粗略的相对速度排序(从快到慢):1. OmniVoice-TTS(本地内置):模型较小,推理开销相对低,在 RTX 4060Ti 上比 Qwen3-TTS 和 F5-TTS 稍快,但仍是本地模型级别。2. ChatterBox-TTS(本地内置):同样较小,速度接近 OmniVoice。3. F5-TTS(本地内置):模型体积中等(约 1.3G),速度中等,比 OmniVoice 略慢。4. Qwen3-TTS(本地内置):模型较大(0.6B 基础版),速度最慢,且如开发者所说 Windows 上无解。结论:- 如果非要本地克隆且追求更快,建议优先试 OmniVoiceChatterBox。- 但即使它们,也无法与 Edge-TTS 的速度相比。如果你的最终需求是「快」,最佳方案仍然是 Edge-TTS(非克隆)。若必须保留原音色,可考虑付费在线克隆(ElevenLabs / 阿里百炼 Qwen-TTS),它们的响应速度接近 Edge-TTS。或者,你可以尝试用 Edge-TTS + 「不克隆」的方式,配合软件的音色相似度调整(虽然不是原声,但可找到相近预设)。请查阅相关文档:- Edge-TTS 免费配音- OmniVoice-TTS

OmniVoice-TTS 文档里说v4.05版本起,该配音渠道已内置,无需自行部署和下载模型,但是在v4.05版本的软件里没看到这个啊

OmniVoice-TTS 从 v4.05 开始内置,但不同版本的补丁包发布存在时间差。如果您的软件中找不到该渠道,请检查:1. 确认版本号是否真正为 v4.05 或更高(软件左上角显示)。如果低于 v4.05(如 v4.04),需要更新。2. 如果版本号显示 v4.05,请下载最新的补丁包覆盖更新,因为首批 v4.05 可能尚未包含此渠道。最新版本是 v4.06。3. 更新后,在配音渠道下拉列表中应该能看到「OmniVoice-TTS(本地内置)」。若仍没有,可能是模型文件未自动下载(首次使用需要联网),检查 models/ 目录下是否有 models--k2-fsa--OmniVoice 文件夹,若无则手动下载放到该目录。请先尝试更新到最新版补丁。

配音渠道里第4个就是OmniVoice(本地内置)

好的,那说明你的软件版本已支持。与 Qwen-TTS 和 F5-TTS 相比,OmniVoice-TTS 的推理速度会稍快一些,在 RTX 4060Ti 上能明显感觉到改善,但仍无法达到 Edge-TTS 的网络 API 速度。如果你的首要目标就是「快」,建议对速度要求不高的片段使用 OmniVoice 克隆,整体配合 Edge-TTS 默认音色混用,或直接全部使用 Edge-TTS。如果确定主要用 OmniVoice,注意勾选「CUDA 加速」并关闭「分离人声背景声」以最大化速度。

Post Your Reply
Open source and free maintenance is not easy. If this project is helpful to you, please consider making a small donation to help the project continue to maintain and update.

Dondate via ko-fi.com

Dondate via PayPal

Related resource