#4510 omnivoice配音中出现其他声音片段

182.84* Posted at: 2 hours ago 👁11

有配音突然截断,有配音前出现其他声音片段

3 Replies

根据你的描述,OmniVoice-TTS 配音中出现其他声音片段或截断,很可能由以下原因造成:

  1. 参考音频问题:参考音频中混有背景噪声、多个说话人,或时长不在 3-10 秒范围内,导致克隆时引入了杂音。
  2. API 服务不稳定:OmniVoice-TTS 外部 API 服务未正确启动或网络波动,造成音频合成中断。
  3. 并行处理冲突:配音线程数过高(如超过1)可能引发音频片段错乱。

解决方案:

  1. 检查参考音频:确保参考音频为单人清唱/说话,无背景声,长度 3-10 秒,并放在 pyVideoTrans/f5-tts/ 文件夹内(OmniVoice 与该文件夹共用)。
  2. 降低并行线程:在 菜单→工具→高级选项→字幕配音调整 中,将“并发配音线程数”设为 1,避免并发冲突。
  3. 重启 API 服务:如果是本地部署的 OmniVoice-TTS 服务,请重启终端窗口,确认 API 地址和端口配置正确(通常为 http://127.0.0.1:7860)。
  4. 检查日志:若问题仍存在,请提供 logs/ 文件夹下最新日志文件的底部 30 行内容,以便进一步分析。

请查阅相关文档:

[DEBUG] [Audio-Sync] Line=161 | 音频溢出截断 2034->1990 | [current_slot_audio_len=2034 slot_duration=1990] | Timeline: 255240 -> 257230
[DEBUG] [Audio-Sync] Line=162 | 音频溢出截断 1480->1422 | [current_slot_audio_len=1480 slot_duration=1422] | Timeline: 257230 -> 258652
[DEBUG] [Audio-Sync] Line=163 | 音频溢出截断 1799->1734 | [current_slot_audio_len=1799 slot_duration=1734] | Timeline: 258652 -> 260386
[DEBUG] [Audio-Sync] Line=164 | 音频溢出截断 1553->1470 | [current_slot_audio_len=1553 slot_duration=1470] | Timeline: 260386 -> 261856
[DEBUG] [Audio-Sync] Line=165 | 音频末尾补静音 42ms | [current_slot_audio_len=1358 slot_duration=1400] | Timeline: 261856 -> 263256
[DEBUG] [Audio-Sync] Line=166 | 音频溢出截断 1641->1562 | [current_slot_audio_len=1641 slot_duration=1562] | Timeline: 263256 -> 264818
[DEBUG] [Audio-Sync] Line=167 | 音频末尾补静音 728ms | [current_slot_audio_len=2312 slot_duration=3040] | Timeline: 264818 -> 267858
[DEBUG] concat_txt='D:/videotrans/tmp/19396/fafbb6243f/final_audio_concat.txt',filelist[0]='D:/videotrans/tmp/19396/fafbb6243f/final_slot_cut_0.wav'
[DEBUG] [Audio-Concat] 最终音频已生成: D:/videotrans/tmp/19396/fafbb6243f/target.wav
[DEBUG]


==准备要嵌入的字幕:self.cfg.subtitle_type=2
=
[DEBUG] 最终确定字幕嵌入类型:2 ,目标字幕语言:vie, 字幕文件:D:/videotrans/tmp/19396/fafbb6243f/end.srt

[DEBUG] [最终视频合成]copy模式,无需重新编码:
['-y', '-progress', 'compose1778425686.3387272.txt', '-i', 'novoice.mp4', '-i', 'origin_audio.m4a', '-i', 'end.srt', '-map', '0:v', '-map', '1:a', '-map', '2:s', '-c:v', 'copy', '-c:a', 'copy', '-c:s', 'mov_text', '-metadata:s:s:0', 'language=vie', '-movflags', '+faststart', '-fps_mode', 'vfr', '-t', '267.934000', 'laste_target.mp4']
[DEBUG] [FFMPEG-CMD]:
ffmpeg -hide_banner -nostdin -ignore_unknown -threads 0 -y -progress compose1778425686.3387272.txt -i novoice.mp4 -i origin_audio.m4a -i end.srt -map 0:v -map 1:a -map 2:s -c:v copy -c:a copy -c:s mov_text -metadata:s:s:0 language=vie -movflags +faststart -fps_mode vfr -t 267.934000 laste_target.mp4

等待 uuid_signal 线程退出
正在等待线程 PrepareVideo 结束...
正在等待线程 SpeechToText 结束...
正在等待线程 DiarizSpeaker 结束...
正在等待线程 TranslationSRT 结束...
正在等待线程 DubbingSrt 结束...
正在等待线程 SpeechToText2 结束...
正在等待线程 AlignVieoAudioSrt 结束...
正在等待线程 AssembVideoAudioSrt 结束...
正在等待线程 TaskDone 结束...
Successfully killed ffmpeg processes using taskkill

根据日志,“音频溢出截断”是软件在音画对齐阶段,为强制适配字幕时间轴而对配音进行裁剪导致的。这会造成配音突然停止,而“前出现其他声音片段”则可能因截断后的音频残留拼接或VAD分割不精确引起。

直接原因:配音音频时长超出字幕时间轴,软件执行了强制截断(音频溢出截断 2034->1990),截断后的音频末尾可能不完整或与相邻片段重叠。

解决方案(按推荐顺序尝试)

  1. 调整对齐策略:在 菜单→工具/选项→高级选项→字幕声音画面对齐 中,将“音频加速最大倍数”降低至 50(默认100),避免过度加速导致时长缩短不均匀。如果仍截断,则在主界面 取消勾选 “配音加速”,并 勾选 “视频慢速”,让视频放慢以匹配配音时长。
  2. 优化配音语速与静音:主界面“配音语速”保持 0(不加/减速)。在高级选项 字幕配音调整取消勾选 “移除配音前后静音缓冲”,保留自然间隙,减少截断风险。
  3. 调整语音识别VAD参数:在高级选项 语音识别参数 中,将“最短语音持续毫秒”设为 3000, “最长语音持续秒数”设为 10(不超过30),确保字幕时间轴更规整,减少时长剧烈波动。
  4. 检查参考音频:若使用了声音克隆,确保参考音频(位于 pyVideoTrans/f5-tts/ 内)为单人清音、无背景噪声,时长 3-10 秒。

若问题依旧,请提供 完整日志文件logs/ 下当天日志)的前后关联部分(约50行),以便进一步分析具体哪句配音导致截断。

请查阅相关文档:

Post Your Reply
Open source and free maintenance is not easy. If this project is helpful to you, please consider making a small donation to help the project continue to maintain and update.

Related resource