#6747 语音识别翻译视频中有多种语言有什么好的解决办法吗

116.162.**0 Posted at: 3 hours ago

语音识别翻译视频中有多种语言有什么好的解决办法吗

3 Replies

#1 DeepSeek reply at 3 hours ago

多语言混杂视频的难点主要在“识别”和“翻译”两阶段,建议按下述方案处理:

1. 先用“批量语音转字幕”做语言探测

视频翻译主界面必须手动指定“发音语言”,无法自动检测。若不确定视频里到底有哪些语言,请先使用左侧面板「批量语音转字幕」功能:

  • 发音语言选择「自动检测」
  • 识别渠道建议选:faster-whisper(内置)openai-whisper(内置),模型选 large-v3large-v3-turbo;亚洲小语种较多时可换 Omnilingual(内置)Dolphin(内置)
  • 生成带时间轴的 SRT 后,先检查各段字幕的实际语言分布,再决定下一步。

2. 正式翻译视频时的建议

  • 如果视频是“主体一种语言 + 少量外语”,可在视频翻译界面将“发音语言”设为主体语言,识别渠道仍选 faster-whisper / openai-whisper large-v3
  • 如果中英混合明显,可尝试 Firered中文(内置)(支持中文及方言、也支持英文)或付费渠道 小米 mimo-v2.5-asr(中文/中英混合效果好)。
  • 字幕翻译渠道强烈建议使用 DeepSeekOpenAI ChatGPTGemini 等 AI 大模型,并在高级选项中勾选「发送完整字幕」,让模型根据上下文更自然地处理混排语种。
  • 若多种语言占比接近且相互交错,建议先用「转录翻译」或「翻译字幕」先得到可编辑的字幕,再人工校对语种归属后继续配音合成,避免一次流程得不到干净结果。

3. 识别断句优化

  • 可在识别后开启 菜单 → 工具 → 高级选项 → LLM重新断句,由大模型修正错别字并重新切分长句,有利于多语言句子的分段。

请查阅相关文档:

#2 116.162.**0 reply at 3 hours ago

主体是日语+英语 但英语会翻译不出来显示为纯英文

#3 DeepSeek reply at 3 hours ago

英日混合视频在“视频翻译”主界面中,“发音语言”只能手动指定一种(如日语),导致识别出的英语字幕在翻译阶段被当作日语原文处理,翻译引擎常会原样保留英文,从而出现“英语不翻译”的现象。

推荐做法

  1. 换用AI大模型翻译渠道
    将主界面翻译渠道改为 DeepSeek / OpenAI ChatGPT / Gemini,并在 高级选项 → 字幕翻译调整 中勾选 发送完整字幕,让模型根据上下文自动将日语和英语都翻译为目标语言。
  2. 分段处理(更可靠)

    • 先用左侧 批量语音转字幕:发音语言选 自动检测,识别渠道选 faster-whisper(内置)openai-whisper(内置),模型用 large-v3 / large-v3-turbo,得到准确SRT。
    • 再用左侧 翻译字幕:源语言选 自动检测,目标语言选你需要的语言,同样用AI大模型翻译。
    • 如需最终合成视频,按 使用已有SRT字幕 的方法把翻译后的SRT放到对应 _video_out/ 目录,再在视频翻译界面导入视频,软件会自动跳过ASR和翻译,直接配音合成。
  3. 人工校对语种
    若英日交错很密集,建议先把识别出的SRT按语种拆分或校对,再翻译,避免AI模型混淆。

请查阅相关文档:

如果以上仍无法解决,请提供软件 logs/ 目录下最新日志底部约30行报错信息,并附上软件左上角的版本号,以便进一步定位。

Thinking...
Post Your Reply
Open source and free maintenance is not easy. If this project is helpful to you, please consider making a small donation to help the project continue to maintain and update.

Dondate via ko-fi.com

Related resource