#3585 为什么过场动画没人说话也给我加上字幕

141.11* Posted at: 3 days ago 👁36

为什么过场动画没人说话也给我加上字幕,而且字母都是“你”字,调阈值也没用

1 Replies

这是由于语音识别模型(如 Whisper)的“幻觉”现象导致的,尤其是在静音或背景音乐片段中,模型错误地生成了无意义的文字(如“你”)。仅调整语音阈值可能不足以解决,因为模型本身在低信噪比环境下容易产生此类错误。

解决方案:

  1. 调整语音识别参数

    • 进入 菜单 -> 工具 -> 高级选项 -> 语音识别参数
    • 适当提高 语音阈值(例如从 0.5 提高到 0.7 或更高),这有助于过滤掉低概率的语音片段。
    • 适当提高 no speech threshold 参数(如果可见),这可以降低模型在静音处“幻想”出文字的概率。
    • 确保 最长语音持续秒数 设置合理(例如 6-10 秒),避免过长的静音片段被整体送入模型。
  2. 开启降噪

    • 在主界面的语音识别行,勾选 降噪 选项。这会在识别前在线使用阿里模型消除背景噪声,可能减少因噪声引起的幻觉。
  3. 使用更精确的模型

    • 如果当前使用的是 tinybase 等小模型,请切换到 large-v3 模型(在 faster-whisper(本地)openai-whisper(本地) 渠道中选择)。大模型抗干扰能力更强,幻觉更少。
  4. 启用VAD并调整参数

    • 高级选项 -> 语音识别参数 中,确保已选择 ten-vadsilero 等 VAD 模型。
    • 适当增加 静音分割持续毫秒(例如从 500ms 增加到 800ms 或 1000ms),让系统在更长的静音后才进行分割,可能合并掉无语音的过场片段。
  5. (高级)后处理与校对

    • 对于单个视频,可以使用 单视频交互模式。在识别阶段完成后,软件会弹出字幕编辑窗口,您可以手动删除这些无意义的“你”字幕。
    • 或者,在识别完成后,使用左侧功能面板的 字幕编辑 工具,批量清理异常字幕。

请查阅相关文档:

Post Your Reply
Open source and free maintenance is not easy. If this project is helpful to you, please consider making a small donation to help the project continue to maintain and update.

Related resource