#8549 使用LLM重新断句替代LLM纠错是否需要开启

120.217**0 Posted at: 20 days ago

使用LLM重新断句替代LLM纠错是否需要开启

11 Replies

#1 DeepSeek reply at 20 days ago

非必须,它是可选的增强项,需你自行决定是否勾选。

说明:

  1. 只勾选 LLM纠错(默认方式):仅用 AI 修正错别字、恢复标点,字幕条数和时间轴基本保持不变,较安全。提示词位于 videotrans/prompts/resegment/llm.txt。
  2. 勾选 使用LLM重新断句替代LLM纠错:改用 AI 重新断句,字幕条数和时间轴会变化,句子更通顺,但与原始字幕无法一一对应。提示词位于 videotrans/prompts/resegment/llm_re.txt。

开启前需注意:

  • 所用 AI 渠道和模型必须支持长上下文和长输出(建议在线旗舰模型),并在 高级选项--语音识别参数--LLM纠错所用AI渠道 中选定。
  • 开启后请勿嵌入双字幕(硬字幕双语/软字幕双语),因重新断句后字幕条数与原文不匹配,会出错。
  • 若你需要与原字幕行号严格对齐(例如导入外部字幕、二次校对),不要开启。

如果你不确定选哪个:普通视频翻译保持默认只勾 LLM纠错 即可;若觉得断句碎、语义不连贯,再开启重新断句。

请查阅相关文档:

#2 120.217**0 reply at 20 days ago

上下文感知需要开启吗

#3 DeepSeek reply at 20 days ago

非必须开启,属可选项,取决于你的显存和视频情况。

说明:启用上下文感知 位于 菜单 → 工具/选项 → 高级选项 → 语音识别参数,作用于 faster-whisper/openai-whisper 等 whisper 系识别。

开启的利弊:

  • 好处:模型可参考前后文,识别出的句子连贯性和准确度通常更好。
  • 代价:占用更多 GPU 显存,且更容易出现重复输出、幻觉(如凭空补出原文没有的句子、反复重复同一句)。
  • 关闭:更省显存、更稳定,但个别长难句的准确度可能略低。

建议:

  1. 显存充足(large-v3 建议 8GB+)、视频语音清晰、无明显背景噪声时,可尝试开启,看结果是否更好。
  2. 显存紧张、出现 CUDA out of memory/Unable to allocate,或识别结果出现大段重复、凭空多出的文字时,请关闭。
  3. 使用 VAD 预切片识别的渠道(如部分非 whisper 渠道),上下文感知意义不大,可保持关闭。

请查阅相关文档:

#4 120.217**0 reply at 20 days ago

静音移除力度

#5 DeepSeek reply at 20 days ago

这是字幕配音阶段的对齐辅助参数,本身不产生效果,必须配合“移除静音缓冲”选项才生效。

一、位置与作用
进入 菜单 → 工具/选项 → 高级选项 → 字幕配音,找到 静音移除力度。它控制 TTS 生成的配音中,静音片段被删除的多少,目的是缩短配音时长,让字幕、声音、画面更对齐。

二、三档取值

  • low:移除力度最小,保留较多静音,配音更长、更接近原始 TTS 输出,听感更自然,但更容易超长。
  • default(默认):中等力度,建议先用这个。
  • max:移除力度最大,移除更多静音,配音更紧凑、更短,利于对齐,但可能听起来停顿生硬、句子粘连。

三、前提条件
只有当你勾选了以下任一选项时,该参数才有意义:

  • 移除每条字幕配音开头结尾静音缓冲
  • 移除每条字幕配音全部静音缓冲

四、选择建议

  • 配音普遍偏长、音画不同步 → 先把 移除每条字幕配音开头结尾静音缓冲 勾上,力度保持 default;仍不够再改 max。
  • 配音听起来断句急促、句子粘一起、语气不自然 → 改回 low 或 default。
  • 不建议在未勾选移除静音选项时单独调它,无效果。

请查阅相关文档:

#6 120.217**0 reply at 20 days ago

whisper提示词写什么

#7 DeepSeek reply at 20 days ago

该提示词用于引导 whisper 系模型(faster-whisper / openai-whisper / whisper.cpp)在识别时偏向某些词汇和书写形式。位置:菜单 → 工具/选项 → 高级选项 → 【whisper 提示词】区域,按语种分别设置,需与你所选“发音语言”对应的那一条一致。

一、写什么内容

  • 视频中反复出现、容易被识别错的人名、地名、公司名、品牌、缩写、专业术语,例如:李明, 张教授, pyVideoTrans, CUDA, cuDNN, FFmpeg
  • 你希望统一书写形式的词,例如:AI 不要识别成 A I
  • 数字、单位、货币等习惯写法,例如:10GB, 3.5%, 人民币

二、不要写什么

  • 不要写“请准确识别”“你是转录助手”之类的指令性句子。该字段按提示文本处理,不按指令执行。
  • 不要粘贴大段无关文章或字幕原文。过长内容会削弱引导作用,甚至干扰识别。
  • 不要混入与发音语言无关的语种;中文视频就写中文术语,英文视频写英文术语。

三、填写建议

  • 只填关键、高频的少量词条,十来个即可,用逗号或空格分隔。
  • 先在识别结果中查找错得最多的词,再写进提示词,逐次补充,不要一次写满。
  • 与【语音识别参数】中的 热词 区分:热词以英文逗号分隔多个,两者可以搭配使用,都用于偏置识别结果。

四、注意

  • 该提示词仅对 whisper 系渠道有效;使用 Qwen-ASR、FunASR、云 API 等渠道时基本无意义,请改用对应渠道自身的术语/热词机制,或使用 LLM纠错。
  • 修改后建议先处理一个短视频验证效果。
  • 具体生效方式和字段保存位置以你当前版本界面为准;知识库对该参数只有“每个语种均可设置对应提示词”的说明。

请查阅相关文档:

#8 120.217**0 reply at 20 days ago

上下文开启很多重复的词.

#9 DeepSeek reply at 20 days ago

这是快速开启“上下文感知”后的典型副作用。开启后,模型会盯着前文不断复读同一句,甚至凭空补出原文没有的内容,属于幻觉,并非识别能力变强。

处理步骤(按顺序尝试):

  1. 直接关闭“上下文感知”。进入菜单 → 工具/选项 → 高级选项 → 语音识别参数,取消勾选。绝大多数重复问题会立刻消失。
  2. 若仍想保留开启,需同时压制重复:

    • 重复惩罚:调大(如 1.1 → 1.2 左右)
    • 文本压缩率:调小
    • 采样温度:调低(如 0)
    • 非语音阈值:适当减小,可降低幻觉,但可能漏字,需权衡
    • beam_size / best_of:可先降到 1 观察是否缓解
  3. 检查是否为音频本身触发:背景噪声大、纯音乐段、静音段过长容易被“听出”文字。可选中设置更多参数里的降噪,或分离人声背景声后再试。
  4. 检查是否与断句方式叠加放大问题:若同时开启了“使用LLM重新断句替代LLM纠错”,重复文本可能被进一步扩散,建议先只保留基础识别验证。
  5. 单独测试:用出现重复的那一段短视频,关闭上下文感知重跑一次,对比结果,确认原因。

建议:优先关闭“上下文感知”。它在显存充足、语音干净时有轻微收益,但稳定性代价明显;重复和幻觉对后续翻译、配音的破坏远大于那点准确度提升。

请查阅相关文档:

#10 120.217**0 reply at 20 days ago

那上下文感知为什么还保留着

#11 DeepSeek reply at 20 days ago

因为它是可选项,并非默认开启的固定行为,且在特定场景下确有收益,所以开发方保留开关,由使用者自行权衡。一、它有真实收益:连续语音(访谈、课程、播客、纪录片)中句式长、前后依赖强,模型参考前文能改善专有名词一致性和句法完整性。二、收益与风险随内容变化:谈话类、语速平稳、噪声小的音频,收益明显且重复概率低;而音乐片段多、噪声重、单句极短、多说话人抢话的材料,开启后重复和幻觉概率显著上升。软件无法预先判断你的材料属于哪一类,因此不可能一刀切关闭。三、它只是幻觉诱发因素之一,并非唯一原因:重复还受采样温度、重复惩罚、文本压缩率、VAD阈值、音频质量影响。开发方选择把控制权交给用户,而不是删除参数。四、保留可调项符合该软件的定位:本地 AI 模型参数差异大、硬件差异大、视频类型差异大,所以高级选项里大量参数都是“默认保守、允许自行调优”的思路。你遇到重复时应将其视为信号:你的材料不适合开启,而不是参数本身错误。五、关于默认状态:知识库对该参数的描述是“若开启将占用更多GPU,效果也更好,但也容易出现重复或幻觉”,并未说明它默认开启;请以你界面的实际默认状态为准。若你发现它默认就是开启的,那属于版本默认值设定,建议直接改为关闭并保存。补充:从 whisper 系模型的通用实现看,该选项通常对应“把上一次识别结果作为下一次的提示上下文”这一机制,这正是复读的来源,但知识库未记载其具体实现细节,仅作参考。请查阅相关文档:高级选项语音识别渠道

Thinking...
Post Your Reply
If you have more than 50 messages, you will no longer receive an automatic reply. Please ask a new question!
Open source and free maintenance is not easy. If this project is helpful to you, please consider making a small donation to help the project continue to maintain and update.

Dondate via ko-fi.com

Related resource