#4338 whisper语音识别问题

这是语音识别模型对特定词汇不敏感导致的，可通过添加热词和优化提示词来提高识别准确率。

解决方案

1. 启用热词功能
   在菜单 工具/选项 → 高级选项 → 语音识别参数 区域，找到 热词 输入框。
   将容易被误识的词（如 CHOCH, BOS）填入，多个词以英文逗号分隔，例如：

   CHOCH, BOS

   热词会告知模型这些词可能出现，从而优先匹配。

2. 优化推理参数
   在同一 语音识别参数 区域调整：

   • 重复惩罚：适当增大（如 1.1），减少重复输出。
   • 文本压缩率：适当减小（如 0.5），降低模型幻觉。
     这两个参数有助于减少错误的识别结果。

3. 选择更大的模型
   模型大小直接影响准确率。如果当前使用的是 tiny / base / small 模型，请切换至 large-v3（精度最高）。

   • 在语音识别渠道中选择 faster-whisper(本地)，右侧模型下拉框选择 large-v3。
   • 若显存不足，可尝试 large-v3-turbo 或 medium。

4. 自定义提示词（可选）
   如果误识问题依然存在，可以在 高级选项 → Whisper模型提示词 中找到对应的 whisper模型英语提示词，添加一句引导，例如：

   The following words might appear: CHOCH, BOS.

   提示词可以帮助模型在识别时偏向这些词汇。

5. 确保正确设置语言
   在“发音语言”下拉框中必须明确选择 英语，不要使用 auto，以确保加载正确的语言模型参数。

请查阅相关文档：

• 语音识别模型分类与说明
• 优化语音识别效果

[DEBUG] [recognition]__init__:kwargs={'detect_language': 'en', 'audio_file': 'E:/sp/tmp/11800/56d53412e1/en.wav', 'cache_folder': 'E:/sp/tmp/11800/56d53412e1', 'model_name': 'large-v3-turbo', 'uuid': '56d53412e1', 'is_cuda': True, 'subtitle_type': 2, 'recogn_type': 0, 'max_speakers': -1, 'llm_post': False, 'recogn2pass': False}
[DEBUG] BaseRecogn 初始化

[DEBUG] GPU进程池:max_workers=1
[DEBUG] faster-whisper模式下，对large-v3-turbo模型返回的断句结果重新修正
怎么型返回的断句结果重新修正这么慢

断句修正慢是因为开启了“Whisper预分割音频”以及可能设置了较小的语音分割参数，导致模型对音频进行多次切割和重新组织，耗费大量时间。根据日志，已使用 large-v3-turbo 模型并开启 CUDA，但未看到明确的预分割设置，不过处理方法仍是按需调整。

解决方案：

1. 禁用音频预分割
   进入 菜单 → 工具/选项 → 高级选项 → 语音识别参数，确保 Whisper预分割音频 处于未选中状态。预分割会将音频提前切割成极短片段并逐条发往模型，大幅增加处理次数。

2. 优化 VAD 参数
   在同一区域调整以下值，减少不必要的切割：

   • 最长语音持续秒数：设为 6（默认，不宜过大，否则单次处理数据量增加）。
   • 最短语音持续毫秒：设为 1000～3000（单位毫秒），合并短语音，减少片段数量。
   • 静音分割毫秒：适当提高至 500，避免在微小静音处分割。

3. 检查其他开销

   • 确认未启用 LLM重新断句（日志中 llm_post=False 表示已关闭，无需处理）。
   • 如果启用了 降噪 或 说话人分离，临时关闭可加快速度。

4. 模型选择与硬件

   • large-v3-turbo 虽然比 large-v3 快，但仍需较多显存/内存。若速度仍不理想，可降级至 medium 模型。
   • 确保 CUDA 加速生效（日志 is_cuda: True 表示已启用，检查 nvidia-smi 看是否实际调用）。

请查阅相关文档：

• 优化识别结果及速度
• VAD 参数调整说明

选择VAD里的两个选择有什么区别

软件内置的两种 VAD（语音活动检测）模型 silero 与 ten-vad 均用于检测语音片段的起止位置，区别在于底层算法与适用场景。

• silero：经典通用模型，广泛用于多种语言的语音检测，稳定性好，但对强噪声或语速快的场景可能不够敏感。
• ten-vad：可能是针对中文或特定噪声环境优化的模型，有时在含背景音的语音分割上更精确。

若当前使用某一模型后出现切割不准（如漏掉短语音或误将噪音识别为语音），可尝试切换到另一个模型，对比效果。

请查阅相关文档：

• VAD 参数调整说明

[DEBUG] [recognition]__init__:kwargs={'detect_language': 'en', 'audio_file': 'E:/sp/tmp/11800/56d53412e1/en.wav', 'cache_folder': 'E:/sp/tmp/11800/56d53412e1', 'model_name': 'large-v3-turbo', 'uuid': '56d53412e1', 'is_cuda': True, 'subtitle_type': 2, 'recogn_type': 0, 'max_speakers': -1, 'llm_post': False, 'recogn2pass': False}
[DEBUG] BaseRecogn 初始化

[DEBUG] GPU进程池:max_workers=1
[DEBUG] faster-whisper模式下，对large-v3-turbo模型返回的断句结果重新修正
用了这么长时间正常吗

断句修正耗时较长通常是因为开启了“Whisper预分割音频”功能，它会将音频切成很多短片段再逐个识别，导致处理量大幅增加。结合你的日志，虽未直接体现该参数，但根据“对模型返回的断句结果重新修正”的日志提示，很可能启用了该选项。另外，rephrase 已设为 0，排除了 LLM 重新断句的开销。优化方案：关闭音频预分割：进入 菜单 → 工具/选项 → 高级选项 → 语音识别参数，确保 Whisper预分割音频 处于 未选中 状态。优化 VAD 切割参数（同一区域）：最长语音持续秒数：设为 6～8 秒。最短语音持续毫秒：设为 1000～3000 毫秒（可减少碎片片段）。静音分割毫秒：设为 500 以上，避免在微小静音处过度切割。模型与硬件权衡：若仍慢，降级至 medium 或 small 模型，牺牲少量精度换取速度（你已经使用 large-v3-turbo，性能中等，但若显存/内存吃紧，也可能降速）。确认 CUDA 加速生效，任务管理器中查看 GPU 是否持续调用，而不是被降级为 CPU。初始加载耗时：第一次启动时 GPU 搜索耗时 15 秒属于正常现象，后续再处理会缩短至 3 秒，这不影响识别过程。做完以上调整后，断句修正时间会明显缩短。

还是没效果

断句修正慢有时并非 VAD 设置导致，而是GPU 实际上没有参与加速或显存不足导致处理降级。请按以下步骤对症排查：

1. 确认 GPU 是否真的在工作

   • 翻译任务运行时，打开任务管理器 → 性能 → GPU 标签，观察 Video Encode 或 CUDA 使用率是否持续高于 80%。
   • 若持续在低使用率（<30%）甚至为 0，说明程序并未调用 GPU，而是用 CPU 硬算，速度会慢数倍。

2. 检查 CUDA 环境版本

   • 本软件内置的 CUDA 版本为 12.8，要求 cuDNN ≥ 9.11。
   • 命令行输入 nvcc -V 查看当前 CUDA 版本，输入 nvidia-smi 确认显卡驱动支持。
   • 如果版本不符，需安装或更新 CUDA/cuDNN（参考文档：GPU 加速安装）。

3. 降低显存占用，防止掉入 CPU 慢车道
   在 菜单 → 工具/选项 → 高级选项 → 语音识别参数 中调整以下项，牺牲少量精度换取速度：

   • CUDA数据类型：改为 int8（默认 float16 若显存不够会自动变慢）
   • beam_size：改为 1
   • best_of：改为 1
   • 启用上下文感知：改为 false
4. 尝试更小的识别模型
   large-v3-turbo 对显存要求仍较高（建议 ≥ 6GB）。若显存 ≤ 4GB，可换用 medium 或 small 模型，速度会明显提升。

5. 确认音频预分割已被彻底关闭

   • 确保 Whisper预分割音频 是 未选中 状态。
   • 同时检查 最长语音持续秒数 设为 6～8，最短语音持续毫秒 设为 1000～3000，减少切割后的片段总数。

如果执行以上步骤后 GPU 使用率仍无起色，请将任务运行时 nvidia-smi 的输出（或报错日志）提供出来，以便进一步定位。

请查阅相关文档：

• GPU 加速安装教程
• 显存不足的解决方法
• CUDA 与 cuDNN 详细安装指南（小白适用）

C:\Users\21261>nvcc -V
nvcc: NVIDIA (R) Cuda compiler driver
Copyright (c) 2005-2025 NVIDIA Corporation
Built on Fri_Feb_21_20:42:46_Pacific_Standard_Time_2025
Cuda compilation tools, release 12.8, V12.8.93
Build cuda_12.8.r12.8/compiler.35583870_0

CUDA 版本正确（12.8），但仍出现断句修正缓慢，问题大概率出在 GPU 实际未满载工作或显存不足导致处理降级。请立即执行以下硬核排查：实时监控 GPU 是否被调用 翻译任务运行期间，打开 CMD 输入 nvidia-smi -l 1（每秒刷新），观察 pyvideotrans 或 python 进程的 GPU-Util 是否持续高于 80%。 若始终低于 30% 或为 0，说明虽勾选了 CUDA 加速，但因显存不足或内部参数错误，实际未使用 GPU 运算，仍在用 CPU 硬算（这会极慢）。确认主界面“CUDA加速”已勾选 不少用户以为高级选项里设置就能生效，实际必须勾选主界面顶部的 CUDA加速 复选框（位于“网络代理”上方）。 务必确认它处于 勾选 状态。降低显存峰值占用，强制走 GPU 快车道 在 菜单 → 工具/选项 → 高级选项 → 语音识别参数，调整以下项：CUDA数据类型：改为 int8（原 float16 在显存不够时会反复内存交换） beam_size：1 best_of：1 启用上下文感知：取消勾选（false） 修改后保存，重启任务。更换更小的模型 若显存 ≤ 6GB，large-v3-turbo 极易爆显存导致降级。在语音识别行将模型改为 medium 或 small，速度会成倍提升。终极验证：彻底关闭可能干扰的因素 关闭“降噪”、“说话人分离”、“二次识别”（你的日志已显示未启用，但要再确认）。 确保 Whisper预分割音频 已 取消 勾选。做完以上调整后，再次运行并观察 nvidia-smi，如果 GPU-Util 依然很低，请将 nvidia-smi 输出的截图和本次翻译日志打包发出来，以便进一步诊断。请查阅相关文档：GPU 加速安装与验证显存不足错误解决方法

[DEBUG] [recognition]__init__:kwargs={'detect_language': 'en', 'audio_file': 'E:/sp/tmp/15860/49de00bdef/en.wav', 'cache_folder': 'E:/sp/tmp/15860/49de00bdef', 'model_name': 'large-v3-turbo', 'uuid': '49de00bdef', 'is_cuda': True, 'subtitle_type': 2, 'recogn_type': 0, 'max_speakers': -1, 'llm_post': False, 'recogn2pass': False}
[DEBUG] BaseRecogn 初始化

[DEBUG] GPU进程池:max_workers=1
CUDA接入了吗

日志中 is_cuda: True 以及 GPU进程池:max_workers=1 表明软件内部已将 CUDA 加速标志置为有效，且已创建 GPU 进程池。但这仅代表配置层面已启用，实际是否调用 GPU 还需运行时验证。

请按以下方法确认：

1. 实时监控：翻译任务开始后，在 CMD 中执行 nvidia-smi -l 1，观察是否有 python 或 pyvideotrans 进程占用 GPU 显存且 GPU-Util 持续高于 80%。若 GPU-Util 一直很低（如 0~30%），则实际仍由 CPU 运算。
2. 检查界面勾选：务必确认主界面（右侧或顶部）的 “CUDA加速” 复选框已勾选（不是仅高级选项里的参数），否则即使日志显示 is_cuda=True，也可能未真正启用硬件加速。
3. 显存限制：若显卡显存不足（如低于 6GB），large-v3-turbo 模型可能会因内存不足而降级为 CPU 推理。需在高级选项中将 CUDA数据类型 改为 int8，beam_size 和 best_of 均设为 1，并关闭 启用上下文感知，以降低显存占用。
4. 环境变量：若装了多版本 CUDA，确认系统环境变量 PATH 中包含 CUDA 12.8 的 bin 和 lib 路径，并重启软件。

如果上述措施后 GPU 仍无负载，请将 nvidia-smi 截图和最新日志文件一并提供。

如果你把那张名片递给一个对市场运作毫无了解\n\n870\n00:57:45,510 --> 00:57:50,190\n或只有一般了解的人，那张名片就像\n\n871\n00:57:50,190 --> 00:57:55,530\n我最初在Baby Pips上说的那样，我可以把这些信息\n\n872\n00:57:55,530 --> 00:58:00,790\n放在《今日美国》头版，也会被大大忽略，因为它会\n\n873\n00:58:00,790 --> 00:58:05,810\n直接被人无视。\n\n874\n00:58:05,810 --> 00:58:06,510\n所以，这就是为什么我强迫你，第一，用六个月学习时间。\n\n875\n00:58:07,100 --> 00:58:10,900\n我强迫你进行模块化练习，而现在，即使\n\n876\n00:58:11,240 --> 00:58:16,980\n有人\n\n877\n00:58:16,980 --> 00:58:17,660\n只是看这个视频模块，他们会觉得这很荒谬，毫无用处。\n\n878\n00:58:17,660 --> 00:58:20,800\n这正是我的观点。\n\n879\n00:58:21,280 --> 00:58:22,680\n你必须回顾视频，提取那些信息\n\n880\n00:58:22,880 --> 00:58:27,380\n得出这个总结，当你以这种形式制定它时，当你理解\n\n881\n00:58:27,380 --> 00:58:31,180\n每个组成部分，你就拥有了ICT百万美元交易计划。好了，\n\n882\n00:58:31,180 --> 00:58:37,000\n各位，祝你们好运，交易顺利。\n\n883\n00:58:37,000 --> 00:58:39,560\n', refusal=None, role='assistant', annotations=None, audio=None, function_call=None, tool_calls=None))], created=1777469809, model='deepseek-v4-flash', object='chat.completion', service_tier=None, system_fingerprint='fp_058df29938_prod0820_fp8_kvcache_20260402', usage=CompletionUsage(completion_tokens=958, prompt_tokens=1928, total_tokens=2886, completion_tokens_details=None, prompt_tokens_details=PromptTokensDetails(audio_tokens=None, cached_tokens=640), prompt_cache_hit_tokens=640, prompt_cache_miss_tokens=1288))
[DEBUG] 按SRT格式翻译，原始字幕行数：883,整理为list[dict]后的行数:883
[DEBUG] [字幕翻译]渠道4,deepseek-chat:共耗时:394s
[DEBUG] 本次EdgeTTS配音：重试延迟:5,出错将重试:4,并发:10

怎么解决

Edge-TTS 配音并发数设置为 10 过高，极易触发微软限流，导致配音 403 错误或生成静音。请按以下步骤调整。

1. 点击菜单 → 工具/选项 → 高级选项，找到【字幕配音调整】区域。
2. EdgeTTS配音渠道配音并发数：改为 1。
3. 配音后暂停秒：改为 5～10 秒。
4. 并发配音线程数：也建议改为 1。
5. 保存后重新执行任务，避免因并发过高被微软临时封禁。

请查阅相关文档：

• Edge-TTS 常见错误与 403 解决
• EdgeTTS 配音渠道详细说明

deepseek的翻译模型有哪些

软件中 DeepSeek 作为翻译渠道时，模型名称需要手动输入，而非在下拉菜单直接选择。目前知识库未提供 DeepSeek 官方支持的全部模型列表，但常见的可用模型包括：

• deepseek-chat（即 DeepSeek-V3 最新对话模型）
• deepseek-reasoner（即 DeepSeek-R1 推理模型，适合复杂逻辑）
• deepseek-v3-flash 等不同后缀版本（视官方公告）

在软件中配置方法：

1. 打开 菜单 → 翻译设置 → OpenAI / 兼容AI设置。
2. 填写 API URL（例：https://api.deepseek.com）和您的 API Key。
3. 在“模型”输入框中填写上述模型名称（如 deepseek-chat）。

请注意，DeepSeek 官方可能会更新模型代号及计费策略，建议前往其平台查看最新可用模型列表和文档：https://platform.deepseek.com/api-docs/