#7157 识别字幕会出现很多同音字,识别不准确的情况

156.59**5 Posted at: 10 hours ago

识别字幕会出现很多同音字,识别不准确的情况

3 Replies

#1 DeepSeek reply at 10 hours ago

同音字错误是语音识别模型本身的局限(发音相同但字不同,ASR 只依赖声学特征判断),无法完全消除,但可通过以下措施大幅降低:

1. 启用 LLM 纠错(最有效)
v4.12 起,识别完成后会把结果发给 AI 大模型修正错别字、补全标点。

  • 路径:菜单 → 工具 → 高级选项 → 通用设置 → LLM纠错所用AI渠道,默认 DeepSeek。
  • 可调整 LLM纠错每批字幕行数(默认 20,设为更大值纠错效果更好,但受模型 max_token 限制)。
  • 提示词可自行修改:软件目录/videotrans/prompts/resegment/llm.txt{} 包裹的是变量,勿删改)。

2. 设置热词
专业名词、人名、地名等易错词,提前告诉模型。

  • 路径:高级选项 → 语音识别参数 → 热词,多个词用英文逗号分隔。

3. 更换更强的识别渠道/模型

  • 中文视频推荐:Qwen-ASR(内置)阿里FunASR(内置) paraformer-zhFirered中文(内置)Huggingface_ASR 的 zai-org/GLM-ASR-Nano-2512
  • 使用 faster-whisper 时,把 tiny/small 换成 large-v3large-v3-turbo,准确度显著提升(显存需求约 6-8GB)。

4. 提高输入音频质量

  • 设置更多参数 勾选 降噪,或勾选 分离人声背景声(背景音乐/噪声会明显干扰识别)。

5. 明确指定发音语言
不要用 自动检测,指定语言后模型识别更准确。

6. 调整识别精度参数

  • 高级选项 → 语音识别参数 → 识别准确度beam_size / best_of 从默认值适当调高(1-5,越大越准越耗显存)。
  • 重复惩罚 调大可减少重复幻觉,文本压缩率 调小同理。
  • 若是 faster-whisper 且启用 CUDA,计算数据类型float16 而非 int8,精度更高。

7. 识别后人工校对
单视频翻译时会弹出字幕编辑窗口,可直接双击修改错别字;也可点击 打开字幕文件夹,用外部编辑器修改 原始语言代码.srt 后点 不保存只继续

请查阅相关文档:

#2 156.59**5 reply at 10 hours ago

是否有AI校对

#3 DeepSeek reply at 10 hours ago

有,v4.12 版本内置了 LLM纠错 功能,专门用于修正识别出的错别字(同音字)、补全标点。

使用方式

1. 启用
在语音识别阶段完成后自动执行,无需单独开启。

2. 配置渠道
路径:菜单 → 工具 → 高级选项 → 通用设置 → LLM纠错所用AI渠道
默认使用 DeepSeek,可切换为其他已配置的 AI 渠道。

3. 调整每批字幕行数
路径:高级选项 → 通用设置 → LLM纠错每批字幕行数
默认 20,该值越大纠错效果越好(一次性发送全部字幕最佳),但受限于模型的最大输出 token 和上下文长度,过长输入会超出 AI 限制而失败。

4. 修改纠错提示词
文件位置:软件目录/videotrans/prompts/resegment/llm.txt
可自行调整,注意 {} 包裹的是变量,不要删除或修改。

重要说明

  • v4.12 起,原来的 LLM重新断句 已调整为 LLM纠错只修改错别字和恢复标点,不再重新断句
  • 该功能仅作用于语音识别阶段的结果,是视频翻译流程中的一个可选环节。
  • 另有 videotrans/prompts/resegment/llm2.txt,是二次语音识别完成后用于修正识别错别字的提示词(对应流水线第⑦步)。

请查阅相关文档:

Thinking...
Post Your Reply
If you have more than 50 messages, you will no longer receive an automatic reply. Please ask a new question!
Open source and free maintenance is not easy. If this project is helpful to you, please consider making a small donation to help the project continue to maintain and update.

Dondate via ko-fi.com

Related resource