#8850 把配音的模型配置文档发我

52.7**2 Posted at: 12 hours ago

把配音的模型配置文档发我

17 Replies

#1 DeepSeek reply at 12 hours ago

配音(TTS)渠道与模型配置相关文档包括渠道说明、各模型下载地址及手动配置方法。

核心文档:

  1. 配音渠道总览(30+ 渠道的配置与使用方法):
    https://pyvideotrans.com/peiyinqudao
  2. 所有模型下载地址及手动下载方法(含 Qwen3-TTS、F5-TTS、OmniVoice、ChatterBox、Piper、VITS、ZipVoice、Confucius、Supertonic、Higgs 等,以及本地 API 类 GPT-SoVITS / Index-TTS / CosyVoice / VoxCPM / FireRed3):
    https://pyvideotrans.com/aboutmodels
  3. 参考音频(声音克隆)配置方法:
    https://pyvideotrans.com/multi-role-dubbing

模型本地存放位置速查(软件目录指 sp.exe 所在文件夹):

  • Qwen3-TTS:软件目录/models/models--Qwen--Qwen3-TTS-12Hz-0.6B-Base 与 ...-CustomVoice
  • F5-TTS:软件目录/models/models--SWivid--F5-TTS/F5TTS_v1_Base(各语种模型路径不同)
  • OmniVoice:软件目录/models/models--k2-fsa--OmniVoice
  • ChatterBox:软件目录/models/models--ResembleAI--chatterbox(另需 2 个 spacy 文件放入 models/pkuser_home)
  • Confucius:软件目录/models/models--netease-youdao--Confucius4-TTS 等 4 个依赖模型
  • Piper:软件目录/models/piper
  • VITS:软件目录/models/vits
  • ZipVoice:软件目录/models/zipvoice
  • MOSS-TTS-Nano:软件目录/models/MOSS-TTS-Nano-100M 与 MOSS-Audio-Tokenizer-Nano-ONNX
  • Supertonic:软件目录/models/models--Supertone--supertonic-3
  • Higgs-audio-v3:软件目录/models/models--multimodalart--higgs-audio-v3-tts-4b-transformers
说明:模型不在软件包内,首次使用该渠道时自动在线下载;国内直连 huggingface.co 常失败,软件会自动切换 hf-mirror.com 镜像,仍失败则按上述地址手动下载并放到对应目录(注意同名文件不要被浏览器重命名为 model(2).safetensors 之类,必须改回原名)。
参考音频统一在 菜单 → TTS设置 → 设置参考音频 中按 音频文件名#对应文字 格式填写,音频需 3~10 秒、WAV 单声道、无背景噪声,文件放在 软件目录/f5-tts 内。

请查阅相关文档:

#2 52.7**2 reply at 12 hours ago

我 是 5060 ti 16gb显卡,使用哪个效果最好最稳定不用返工

#3 DeepSeek reply at 12 hours ago

说明:知识库中没有针对 RTX 5060 Ti 16GB 的专门测试数据,以下结论基于显存需求与各渠道特性推导,不是官方基准测试。

一、先明确“不返工”的定义

配音返工几乎都来自三类问题:限流中断(免费在线接口)、模型下载失败、音色/时长不匹配。16GB 显存本身不是瓶颈——知识库中内置配音模型最大需求为 Higgs-audio-v3(CUDA 需 >10GB 显存),其余(Qwen3-TTS 0.6B、F5-TTS、OmniVoice、Confucius、ChatterBox、Supertonic、MOSS-TTS-Nano)均远低于 16GB。

二、按“稳定性优先”排序的建议

1. 追求最稳、最少折腾:用云 API 渠道

  • 中文:字节语音合成2.0(中文发音地道)
  • 多语言通用:Azure TTS、OpenAI TTS、阿里百炼 Qwen-TTS
  • 克隆原音色且中文效果好:fish.audio(知识库注明中文效果优于 Elevenlabs,可作平替)

云 API 不占显存、不下载模型、不依赖 CUDA 环境,且是付费商业接口,限流风险最低。代价是需申请 Key 并充值。这是唯一能较大概率的避开“模型下载失败”“CUDA 报错”“限流中断”三类返工的方式。

2. 完全免费本地的首选:Qwen3-TTS(内置)

知识库推荐度为三星并支持 clone(克隆原视频音色),支持中英日韩德法俄葡西意十种语言,显存需求远小于 16GB。

必须注意的坑:未安装 flash-attn 模块时会非常慢(该模块在 Windows 下兼容性极差,默认不包含)。若配音速度不可接受,再换下面渠道。

3. 语言覆盖面最广:OmniVoice(内置)

支持 600 种语言、支持克隆,只要 CUDA 可用即优先走 GPU,冷门语种场景几乎是必选。

4. 欧洲语言:ChatterBox(内置),欧洲语言效果好、支持克隆;首用除模型外还需 2 个 spacy 文件(见文末文档)。

5. 中英短内容:F5-TTS(内置);ZipVoice 固定 CPU 运行,速度无优势。

三、避免返工的必查项

  1. 主界面勾选 CUDA 加速前,确认已装 NVIDIA 驱动 + CUDA 12.8 + cuDNN 9.11,否则会退回 CPU 速度运行。
  2. 高级选项 → 通用设置 → GPU同时任务数 设为 1(知识库明确:除非显存超大,否则设为 1)。
  3. 若使用 clone 配音角色,高级选项 → 语音识别参数 → 最短语音持续(毫秒) 必须 ≥ 3000,否则克隆参考音频过短会报错或效果崩坏。
  4. 自定义参考音频必须为 WAV、单声道、3~10 秒、无背景噪声,在 菜单 → TTS设置 → 设置参考音频 按 文件名#对应文字 填写,文件放 软件目录/f5-tts。
  5. 中文转英文时把 配音语速 设为 +10~+15,并保持 配音加速 选中、建议同时选中 二次识别,可大幅减少音画不同步的返工。
  6. 首次使用某个内置渠道时先在单视频模式下运行一小段,确认模型下载成功再批量跑——模型体积 1~5G,国内直连 huggingface.co 常失败,软件会自动切 hf-mirror.com 镜像,仍失败需手动下载。

四、结论

  • 有预算、要求一次过:字节语音合成2.0(中文)/ Azure TTS 或 OpenAI TTS(多语言)/ fish.audio(克隆)。
  • 零成本:Qwen3-TTS(内置) 为主,冷门语种换 OmniVoice,欧洲语换 ChatterBox。
  • 你的 16GB 显存足以跑上述任意内置模型,限制因素在模型下载与参数设置,不在显存。

请查阅相关文档:

#4 52.7**2 reply at 12 hours ago

配音的api多少钱?

#5 DeepSeek reply at 12 hours ago

知识库中未收录各配音渠道的API官方定价,无法给出准确价格。各渠道的计费与开入口径不同,"多少钱"必须以对应平台官网定价页为准,不可套用他人经验值。

按计费方式分为三类,便于你预估成本方向:

  1. 按字符/千字符计费(商业云 TTS)
  2. 字节语音合成2.0、阿里百炼 Qwen-TTS、Azure TTS、OpenAI TTS、Elevenlabs.io、Minimaxi、小米 TTS、X.AI TTS、fish.audio、Gemini TTS
  3. 通常按"合成字符数"累计扣费,多数平台有免费额度或赠送额度;Minimaxi 在知识库中注明"需充值使用"。实际单价、免费额度、是否区分语言/音色加价,请到对应平台控制台查看。
  4. 完全免费(无 API 费用)
  5. Edge-TTS、gTTS:微软/谷歌的免费公开接口,无需 Key、不产生费用,代价是高频调用会被限流(403),需把并发数设为 1、配音后暂停秒设为 5~10。
  6. 一次性零成本(本地模型,只消耗电费和硬盘)
  7. Qwen3-TTS、F5-TTS、OmniVoice、Confucius、ChatterBox、Supertonic、Piper、VITS、ZipVoice 等内置渠道:不产生 API 费用,模型首次使用时在线下载(1~5G)。按你 5060 Ti 16GB 的配置,本地跑这些模型是最省钱方案。

估算自身成本的简法:
字幕总字符数 × 平台千字符单价。跑任务前可先只翻译一小段视频,用平台控制台的用量明细反推单价,再决定是否批量,避免充值后才发现单价不合适。

获取各渠道 Key 与定价的官方入口(配置方法见此文档,内含各平台申请链接):

补充:若只是想低成本对比效果,可先用 Edge-TTS(免费)跑一遍确认流程与音画对齐设置无误,再切到付费渠道,能避免付费额度浪费在参数调试上。

#6 52.7**2 reply at 12 hours ago

帮我找一个本地好效果最好的吧,我在使用它,经常翻译一些虎迪尼的教程,可能中英文掺杂。比较多。帮我推荐一个最稳定的,效果最好的。

#7 DeepSeek reply at 12 hours ago

核心结论:纯本地、中英双语且要"稳定不返工",首选 Qwen3-TTS(内置);返工风险的主要来源在"clone 克隆角色"和"术语不一致",而非模型本身或你的 16GB 显存。以下按 Houdini 教程场景给出。

一、渠道推荐(本地,不用 API)

优先级渠道依据
首选Qwen3-TTS(内置)知识库三星推荐,原生覆盖中英日韩德法俄葡西意,CUDA 优先使用,支持克隆
备选F5-TTS(内置)三星推荐,中英及多语种,支持克隆
冷门语种OmniVoice(内置)600 种语言,三星推荐

知识库中未收录"中英混掺"场景的专项对比数据,上述排序基于语种覆盖与推荐度推导,非官方实测排名。

二、必须避开的返工点(比选渠道更关键)

  1. 教程类不要用 clone 角色。知识库明确说明:clone 会按字幕时长从原视频动态裁切参考音频,片段可能时长不合适、有背景噪声、句子被强行截断,参考音频质量不可控,效果远差于 webui 里手动给参考音频。教程语速快、夹杂英文术语、常有鼠标音,裁切质量更不稳定。改用固定发音人,效果可预期。

    • 若坚持要老师音色:先自录/截取 3~10 秒干净 WAV 单声道音频,在 菜单 → TTS设置 → 设置参考音频 按 文件名#对应文字 填写,文件放 软件目录/f5-tts,然后选中该参考音频作为角色。
  2. 术语必须锁死。点击主界面 翻译术语表,逐行填 原文=译文,如 VEX=VEX、SOP=SOP、Digital Asset=数字资产、Copernicus=COP。避免同一术语在不同字幕行被译成不同中文,导致配音读到多种叫法。
  3. 翻译渠道用 AI + 勾选 发送完整字幕。技术教程的句子依赖上下文,传统翻译渠道易把术语直译错,进而配音念错。建议 DeepSeek 等 AI 渠道。
  4. 勾选 LLM纠错。识别阶段可修正 Houdini 专有名词错拼(如 VEX、LOP、Karma),避免配音读出乱码式发音。
  5. 高级选项 → 通用设置 → GPU同时任务数 设为 1。
  6. 高级选项 → 字幕配音 → 勾选 文本规范化,知识库注明该项仅支持中文和英文,正合你的中英混掺场景。
  7. 保持 配音加速 选中,建议同时选中 二次识别,可显著减少音画不同步的返工。

三、执行前的一次性验证(省钱省时)

在单视频模式下先跑一个 1~2 分钟的教程片段,对比 Qwen3-TTS 与 F5-TTS 对"夹杂英文术语的中文句子"的读音是否自然(例如念 VEX、SOP、节点名时会不会念成逐个字母或念错)。确认后再批量。Qwen3-TTS 未安装 flash-attn 时会很慢,该模块在 Windows 兼容性极差、默认不含,若速度不可接受即切 F5-TTS。

请查阅相关文档:

#8 52.7**2 reply at 11 hours ago

语言识别最优秀最稳定的配置参数是什么?

#9 DeepSeek reply at 11 hours ago

结论:以你的场景(中文讲解 + 英文 Houdini 术语、16GB 显存、纯本地),稳定性最优组合是 faster-whisper(内置) + large-v3,配合热词 + LLM纠错 + 明确的发音语言。若中文识别准确率仍不满意,再把渠道换成 Qwen-ASR(内置) 1.7B,参数不变。

说明:知识库中没有针对 "Houdini 教程中英混掺" 的专项基准测试,以下数值来自知识库的渠道推荐与参数说明推导,不是官方实测排名。

一、渠道与模型

优先级渠道模型依据
首选faster-whisper(内置)large-v3三星默认推荐,支持全部内置语言,16GB 显存(需求约 8GB)充裕
提速备选faster-whisper(内置)large-v3-turbo速度与质量兼顾,显存约 6GB
中文加强Qwen-ASR(内置)1.7B知识库标注"中文效果佳",代价是较慢
提速方案Audio.cppqwen-asr相对较快,但配置项更多,稳定性不如前两者

不要用 自动检测。教程是中文讲解夹英文术语,明确把 发音语言 设为 简体中文,识别精度显著更高;选自动检测还可能触发双字幕嵌入等额外限制。

二、主界面开关

  1. 勾选 CUDA加速(需已装驱动 + CUDA 12.8 + cuDNN 9.11,否则会静默退回 CPU 极慢)。
  2. 勾选 二次识别,模型用 large-v3-turbo(或 large-v3)。它会在配音后重新识别生成贴合配音的短字幕,是减少音画不同步返工的关键。
  3. 配音角色不要用 clone(上一轮已说明原因),因此"最短语音持续 ≥ 3000"这条强制约束对你不再生效,可按下表自由调。
  4. 设置更多参数 中勾选 降噪(教程常有鼠标、键盘、风扇底噪),建议再评估 分离人声背景声(纯 CPU,较慢)。

三、高级选项 → 【语音识别参数】逐项建议值

参数建议值理由
最长语音持续(秒)8默认 5 易把长句硬切;教程单句信息量大
最短语音持续(毫秒)3000防止"好的""看这里"独立成行,字幕更完整
静音分割持续毫秒800默认 600 偏灵敏,调大后断句更连贯
计算数据类型float16知识库:float16 适合 GPU 加速;int8 更快但精度低
识别准确度 beam_size55=精度最高、显存消耗最大;16GB 吃得下
识别准确度 best_of5同上
启用上下文感知关闭知识库明确:开启易出现重复或幻觉,稳定性差,与"不返工"冲突
重复惩罚1.1~1.2增大有利于减少重复
文本压缩率略低于默认减小有利于减少重复
字幕繁体转简体选中强制简体,避免混出繁体
删除字幕末尾标点不选术语与句意依赖标点
选择VAD / 语音阈值 / 非语音阈值silero,保持默认知识库:silero 适合大多数情况;默认值最稳
二次识别所用模型large-v3-turbo默认值,够用
二次识别最长语音持续(秒)1.5生成短小字幕
二次识别最短语音持续(毫秒)600默认值
云API识别暂停秒无关本地渠道不适用

四、两项收益最大的设置

1. 热词(强烈建议填)

教程里 Houdini 专有名词被听错是最典型的返工来源。在 热词 框内按英文逗号分隔填写,例如:

Houdini,VEX,SOP,LOP,DOP,TOP,CHOP,Karma,Solaris,Copernicus,FLIP,Pyro,Vellum,USD,节点,解算

2. LLM纠错(强烈建议选中)

它会把识别结果交给 AI 模型修正错别字、补标点,对"中文句子里夹英文术语"的错拼修正效果明显。

  • LLM纠错所用AI渠道:选 DeepSeek 或其他旗舰在线模型。
  • LLM纠错每批字幕行数:默认 20。可调到 100,知识库说明该值越大断句效果越好,一次性发送全部最佳,但受最大输出 token 与上下文限制,过长会失败。先用 100 试一次,报 Could not parse response content as the length limit was reached 就降到 20~50。
  • 一般不要勾 使用LLM重新断句替代LLM纠错:它必然改变字幕条数,且不能再嵌双字幕。

五、一次跑通流程

  1. 单视频模式,先用一个 1~2 分钟含密集术语的片段试跑(自动进入交互编辑窗口)。
  2. 检查英文术语是否被正确写成 VEX / SOP / Karma 等,而非拼错或逐字母乱码。
  3. 若中文错字多 → 渠道换 Qwen-ASR 1.7B 重跑识别阶段(保持上面参数不变)。
  4. 若只是慢 → 模型降为 large-v3-turbo;若报 OOM → beam_size/best_of 降到 1、数据类型改 int8。
  5. 确认无误后再批量,并对同一视频重跑时勾选 清理已生成,避免复用旧字幕。

请查阅相关文档:

#10 52.7**2 reply at 11 hours ago

语音识别,翻译,转语音,这三个环节一个出问题了,结果就不对。总结就是这个程序还是不够稳定,返工几乎是无法避免的。

#11 DeepSeek reply at 11 hours ago

你的判断在结构层面成立:这是四个串联环节(识别→翻译→配音→对齐合成)的流水线,任一环节失败都会污染最终产物,且 AI 模型本身具有不确定性。知识库开发者 FAQ 中也直接承认这一点,并说明原因涉及本地模型下载、GPU 显存、在线 API 密钥与限流、模型智能程度、原始视频路径与编码等多个方面。

但有一点需要纠正,它直接决定返工成本:返工不等于全流程重跑。软件的分阶段缓存机制允许你只重跑出错的那一环。

分环节重跑的具体操作

前提:不要勾选 仅输出mp4,它会删除字幕、音频等中间文件,让返工失去基础。输出文件夹里会保留各阶段的 srt 与音频产物。

  1. 只有配音/对齐/合成出问题(识别和翻译结果你已认可)
    对同一视频再次执行时,取消勾选 清理已生成。软件将复用已转录的 srt 和已翻译的 srt,直接跳过识别与翻译,只重跑配音及之后阶段。这是最常用的返工方式。
  2. 识别错、翻译对不上
    在单视频模式下,用右侧字幕区的 导入发音语言srt 按钮,把手工修正后的源字幕导入,跳过一次识别。同理 导入目标语言srt 可跳过翻译。
  3. 只想修某一句配音
    单视频模式第三个面板(配音校对)中,双击字幕列改文字后右键 重新配音,只重生成这一句,不必整体重跑。该面板还会用 <超出> / <缩短> 明确标出配音时长是否塞得进字幕区间。
  4. 想全程人工把关而非事后返工
    一次只选一个视频即进入单视频交互模式,每个阶段结束都会弹窗校对(字幕、配音角色分配、配音结果、二次识别字幕)。注意弹窗有倒计时,要修改必须先点右上角倒计时按钮停表。若觉得弹窗烦,可在 高级选项 里把 单视频交互翻译暂停倒计时 改为 0 跳过。
  5. 网络类偶发失败
    高级选项 → 通用设置 → 失败后重试次数 设为 2~3,对限流类错误有效;但对模型下载失败、密钥错误这类不可恢复错误无效,调大只会延长耗时。
  6. 想事后逐句复核配音
    高级选项 → 字幕配音 → 勾选 保留每条字幕的配音文件。

关于“最稳”的取舍

降低返工率本质上是用成本换确定性:本地方案(Qwen3-TTS、faster-whisper)零 API 成本但受模型下载、CUDA、模型自身智能程度影响;云 API(DeepSeek 翻译、字节/Azure 配音)付费但限流与质量问题更少。你的 5060 Ti 16GB 能跑所有内置模型,瓶颈不在硬件,而在这四类:模型下载失败、CUDA/cuDNN 环境、术语与断句、音画时长差。前两类是环境问题(可一次修好),后两类靠术语表、LLM纠错、二次识别、配音加速来压。

知识库中没有稳定性/出错率的统计数据,因此无法给出"出错概率"这类量化结论。

请查阅相关文档:

#12 52.7**2 reply at 11 hours ago

如果每个环境都使用api,价格多少,稳定性是不是几乎不会有问题?

#13 DeepSeek reply at 11 hours ago

两点先给结论:

  1. 价格无法从知识库给出。 知识库没有收录任何语音识别/翻译/配音 API 的官方定价,不得编造数字,必须到各平台定价页查看。
  2. "几乎不会有问题"不成立。 全 API 化只能消除一类失败源(本地模型与 GPU 环境),另一类失败源(密钥、余额、区域限制、限流、AI 输出格式不合规、音画时长差、术语不一致)依然存在,部分甚至因为换成 API 而新增。

一、价格:计费口径与估算方法

三类环节的计费方式不同,需分别核算:

环节常见计费口径关注点
语音识别 API按音频时长(分钟/小时)视频越长越贵;部分平台区分实时/离线
字幕翻译 API按字符数或 token 数AI 渠道勾选"发送完整字幕""附带所有字幕做参考"会成倍消耗 token
语音合成 API按合成字符数多角色、重新配音、二次识别后重配都会重复计费

估算方法(知识库唯一可给的建议):

  1. 先只跑一个 1~2 分钟的教学片段,全 API 链路走完。
  2. 到各平台控制台查看用量明细(识别时长 / 输入输出 token / 合成字符数)。
  3. 按"用量 × 你的视频总时长比例"外推,再决定是否批量。
  4. 不要先大额充值再试跑——参数调试(术语、断句、语速)本身就会消耗额度。

各渠道 Key 申请入口见此文档(内含各平台注册指引,定价在对应平台内):
全部语音识别渠道 / 全部字幕翻译渠道 / 全部配音渠道


二、全 API 化能消除的失败源

这些是本地模型方案的主要返工原因,换 API 后确实消失:

  • 模型下载失败(huggingface.co 被墙、hf-mirror 限流 429、大文件中断)→ 及由其间接引发的 Unable open model.bin、no such file 等
  • CUDA / cuDNN 环境问题、驱动版本不匹配
  • 显存溢出 CUDA out of memory、Unable to allocate
  • 本地推理子进程硬崩溃 BrokenProcessPool、SttTimeoutError(faster-whisper 挂起)
  • 本地 CPU 环节过慢(人声分离、降噪)

三、全 API 化不能消除、甚至新增的失败源

问题依据
密钥错误、余额不足、权限未开通每换一个渠道就多一份配置,任一填错即整链中断
区域限制百度翻译、腾讯翻译仅限中国大陆 IP;Google 翻译、Gemini、OpenAI 国内需代理
代理填错即全失败代理框填了无效地址会导致所有网络请求失败
限流 403 / 429Edge-TTS 高频调用被微软限流;Google 翻译 429(节点 IP 不干净或频率过高);云 ASR 需设"云API识别暂停秒"
AI 翻译合并字幕 → 出现空白字幕行原始长句被切成多段,AI 自行合并成 1 行 + 1 空行,影响时间轴对齐
Could not parse response content as the length limit was reached单批字幕过多或 max_tokens 太小;或原文含大量重复文字使模型死循环耗尽 token
AI 把提示词塞进字幕小模型指令跟随弱,会输出无关文本
音画不同步与用不用 API 无关,是跨语言音节数差异的必然结果
术语不一致与 API 无关,需靠术语表锁定

关键认知: 全 API 化把"环境类故障"换成了"配置类故障"。前者的特征是 BrokenProcessPool 这类可通过一次环境配置永久解决的错误;后者的特征是会随换渠道、换模型、换网络反复出现。就你的场景(Houdini 教程、中英混掺、需要术语一致),真正亏掉时间的不是模型崩了,而是断句碎、术语念错、配音时长塞不进字幕区间——这三项 API 化一个都解决不了。


四、若坚持全 API,稳定性最大化的具体配置

语音识别(中文 + 英文术语,中文效果优先)

  • 豆包语音识别大模型极速版(知识库标注"中文效果极佳")
  • 或 小米 mimo-v2.5-asr(中文/中英混合效果佳,需在 菜单--翻译设置--小米AI 填 Key)
  • 或 OpenAI 语音识别 API(综合效果优秀,需代理)
  • 发音语言明确设为简体中文,不要用"自动检测"
  • 勾选 LLM纠错,并在 高级选项--LLM纠错所用AI渠道 选旗舰模型
  • 高级选项--语音识别参数--热词 填:Houdini,VEX,SOP,LOP,DOP,TOP,CHOP,Karma,Solaris,Copernicus,FLIP,Pyro,Vellum,USD
  • 高级选项--语音识别参数--云API识别暂停秒 设为 1~3,防限流

字幕翻译

  • 渠道:DeepSeek 或 OpenAI ChatGPT / Gemini,用在线旗舰模型
  • 勾选 发送完整字幕
  • 点击 翻译术语表 逐行填 原文=译文(VEX=VEX、Digital Asset=数字资产 等)
  • 高级选项--字幕翻译--AI翻译渠道每批字幕行数:设 20~50(设太大易触发 token 截断报错;出现空白行时降到 1)
  • 若要让译文更短以适配配音,勾选 进一步精简翻译结果
  • 关思考模式(若模型报"不支持关闭思考"则选 default):翻译设置面板中将"思考深度"设为 default;选 none 为关闭

语音合成

  • 中文优先:字节语音合成2.0(知识库:中文发音地道)或 fish.audio(中文效果优于 Elevenlabs)
  • 通用:Azure TTS / OpenAI TTS
  • 不要用 clone 角色(API 渠道下 clone 同样按字幕时长动态裁切原始音频作参考,质量不可控)
  • 保持 配音加速 选中;建议勾选 二次识别
  • 中文译英文时 配音语速 设 +10~+15

通用

  • 高级选项--通用设置--失败后重试次数 设 2~3(仅对限流类有效,对密钥错误无效)
  • 高级选项--通用设置--GPU同时任务数 设 1(避免并发触发限流)
  • 不要勾选 仅输出mp4(会删除中间 srt,失去分环节返工能力)
  • 重跑同一视频时取消 清理已生成,可跳过已完成的识别/翻译

五、最现实的建议

你的 5060 Ti 16GB 足以本地跑所有内置模型,"本地不稳"这个前提在你机器上并不成立。折中方案通常比全 API 更划算:

  • 识别用本地 faster-whisper large-v3 + 热词 + LLM纠错(一次配好环境,无持续费用,无上传隐私顾虑)
  • 翻译用 API DeepSeek(质量提升最大,成本极低,术语表可锁定一致性)
  • 配音用本地 Qwen3-TTS(内置) 或 F5-TTS(内置),配固定发音人 + 自定义参考音频

即:只在"AI 智能程度决定质量"的翻译环节付费,其余留在本地。这样既避开模型下载/CUDA 那类一次性故障,又不把限流、密钥、区域限制引入全链路。

请查阅相关文档:

#14 52.7**2 reply at 11 hours ago

要关闭背景音分离和降噪吗?

#15 DeepSeek reply at 11 hours ago

结论:教程类视频建议开启降噪、关闭分离人声背景声。这是基于两者在知识库中的机制差异做的推导,知识库没有针对教程场景的专项测试数据。

一、两者本质不同,不要混为一谈

  • 降噪:清除背景噪声,输出仍是人声加上降噪后的背景,只有一条轨。
  • 分离人声背景声:把音频拆成人声、伴奏两条轨。此时“重新嵌入背景声”才决定是否在配音完成后把伴奏混回去。
  • 相关参数:背景音量(0.0~2.0)、背景音短时拉长或循环(当配音时长大于背景时长时如何处理)、人声背景分离线程数(越大越快但占用资源越多)。

二、关闭“分离人声背景声”的理由

  1. Houdini 教程基本没有 BGM,背景只是风扇、键盘、鼠标点击、机箱底噪。分离出来再混回去,等于把这些噪声重新叠到配音轨上,反而降低配音干净度。
  2. 知识库明确:分离默认使用 onnx 模型,始终在 CPU 上处理,速度极慢。它会成为整个流程的时间瓶颈,也等于多引入一个可能出错的环节,与你“减少返工环节”的目标冲突。
  3. 若勾选“重新嵌入背景声”,操作音会混回配音;若不勾选,背景彻底消失,可能连同软件报错提示音等有用信息一起丢掉。两者都不理想,所以不如不分离。
  4. 分离人声的主要价值是“保留原 BGM”,这在你这类视频中通常不存在。

三、开启“降噪”的理由

  1. 知识库“识别结果不准确”的排查项中明确列出:在设置更多参数中开启降噪功能或分离人声背景声。降噪是可低成本提升识别精度的手段。
  2. 教程常有持续底噪,降噪后 VAD 切分更准,“静音分割持续”等阈值参数才按预期生效。
  3. 代价低于分离:降噪默认 dpdfnet2.onnx,知识库描述为速度快,dpdfnet8.onnx 慢但质量略高。

四、需要开启分离的例外

  • 视频含持续 BGM 且希望保留片头音乐或演示背景音乐:勾选分离人声背景声并勾选重新嵌入背景声,背景音量适当调低(范围 0.0~2.0),避免盖住配音。
  • 人声被噪声严重淹没、降噪后仍识别不准:再考虑加开分离。
  • 你已在外部用 UVR5 等工具分离好人声和伴奏(vocal.wav / instrument.wav 放入输出子文件夹):此时必须勾选分离人声背景声和重新嵌入背景声,否则不会使用你导入的文件。

五、求稳时的一个细节
知识库提到:若有英伟达显卡,可在高级选项—降噪模型选 zipenhancer,将使用 audio.cpp 自动选择最佳设备(CPU/GPU)执行;分离模型选 mel_band_roformer 也可走 audio.cpp GPU 加速。
但你既然以“稳定不返工”为目标,用默认的纯 CPU 降噪模型反而更稳——audio.cpp 首次使用需自动下载二进制(软件目录/audio_cpp),这又是一个可能失败的下载环节。等你确认整条链路跑通后,再切 zipenhancer 提速更合理。

六、推荐组合

  • 你的 Houdini 教程:降噪 ✅ / 分离人声背景声 ❌ / 重新嵌入背景声不启用
  • 含背景音乐的教程:降噪 ✅ / 分离 ✅ / 重新嵌入背景声 ✅ / 背景音量适当调低
  • 记住:这两个选项都只影响“音频预处理”,开启与否不会改变翻译与配音模型的选择,也不会影响你已经调好的语音识别参数。

请查阅相关文档:

#16 52.7**2 reply at 11 hours ago

可以有降噪,但是要关闭人声背景声分离。

#17 DeepSeek reply at 11 hours ago

确认配置:降噪 勾选,分离人声背景声 关闭,重新嵌入背景声 关闭。

具体操作

  1. 主界面点击 设置更多参数..(展开面板)
  2. 勾选 降噪
  3. 取消勾选 分离人声背景声
  4. 取消勾选 重新嵌入背景声(分离关闭后此项已无意义,不勾即可)
  5. 背景音量、背景音短时拉长/循环 保持默认,不生效,无需调整
  6. 菜单 → 工具/选项 → 高级选项 → 通用设置 → 降噪模型 保持默认 dpdfnet2.onnx(快);若想更高质量可改 dpdfnet8.onnx(慢);不建议此时切 zipenhancer,它需 audio.cpp 首次自动下载二进制,等于多一个可能失败的环节,等整条链路跑通后再换

必须知道的两个后果
最终视频将不含任何原始背景声。因为没有分离,就没有 instrument 轨可混回,鼠标点击、键盘声、Houdini 界面提示音全部消失,只剩配音轨。对多数讲解类教程这是好事(更干净)。
但如果教程里演示了与声音有关的内容(CHOP 音频驱动、音乐节点、播放素材原声),这些声音也会一并丢失。遇到这类视频,单独为它开一次分离人声背景声 + 重新嵌入背景声即可,其余视频仍按上面配置跑。

补充
关闭分离后,输出文件夹内不会生成 vocal.wav / instrument.wav。若后续想让某个视频带上背景声,又不想用软件内置的 CPU 分离,可用 UVR5 等第三方工具分离后,把 vocal.wav 与 instrument.wav 放入该视频的输出子文件夹,并勾选 分离人声背景声 + 重新嵌入背景声。
降噪只影响音频预处理,不影响你已调好的语音识别参数与配音渠道选择。
重跑同一视频时若只改了降噪/分离设置,需先确认语音识别的源字幕是否要重新生成:不勾 清理已生成 会复用旧 srt(旧 srt 是未降噪时识别出的);想用降噪后的音频重新识别,就勾选 清理已生成,或在单视频模式下重新导入修正过的源字幕。

请查阅相关文档:

Thinking...
Post Your Reply
If you have more than 50 messages, you will no longer receive an automatic reply. Please ask a new question!
Open source and free maintenance is not easy. If this project is helpful to you, please consider making a small donation to help the project continue to maintain and update.

Dondate via ko-fi.com

Related resource