#3428 开启LLM重新断句之后字幕与原音频对不准

185.248* Posted at: 1 hour ago 👁5

版本号v3.97,识别内容等方面没有没有任何问题。默认断句时也没有问题,但开启LLM重新断句后字幕就与原音频内容对不准了,会有超前2-5秒的情况,也会有滞后几秒的情况,有没有解决办法

1 Replies

这是由于 LLM 重新断句功能在优化文本结构时,未能完全保持与原音频时间轴的精确对应关系。

解决方案:

  1. 调整断句模式:在“语音识别参数”设置中,尝试将“整体识别”切换为“均等分割”模式,或反之,观察哪种模式与LLM重新断句的兼容性更好。
  2. 优化提示词:LLM重新断句依赖提示词。请检查并修改 prompts 目录下的相关提示词文件(如 rephrase.txt),确保提示词明确要求模型在重新组织句子时,必须保持与原时间轴的大致对应关系,避免过度改变句子结构导致时间偏移。
  3. 使用“二次识别”:这是解决此问题最有效的方法。在“高级选项”或最终合成设置中,务必开启“二次识别”功能。该功能会在生成最终配音后,对配音音频重新进行语音识别,生成与配音完全同步的字幕,从而彻底解决因LLM重新断句导致的时间轴错位问题。
  4. 手动校对:对于关键视频,在“单视频交互模式”下,可以在LLM重新断句后弹出的字幕编辑窗口中,手动检查并调整明显超前或滞后的字幕时间轴。

参考文档:

Post Your Reply
Open source and free maintenance is not easy. If this project is helpful to you, please consider making a small donation to help the project continue to maintain and update.

Related resource