#7947 如何开启上下文文感知不报错

59.36**9 Posted at: 1 hour ago

如何开启上下文文感知不报错

1 Replies

#1 DeepSeek reply at 1 hour ago

「启用上下文感知」会显著增加 GPU 显存占用,报错基本都是显存不足(CUDA out of memory / Unable to allocate)导致的。

按以下顺序调优即可在开启它的同时避免报错:

  1. 换小模型:把 faster-whisper 模型从 large-v3 降到 medium 或 small(large-v3 基础运行就需约 8GB 空闲显存)。
  2. 降计算精度:菜单 → 工具/选项 → 高级选项 → 语音识别参数 → 计算数据类型,改为 float16(N卡最佳)或 int8(最省显存)。
  3. 减小搜索深度:同区域把 识别准确度beam_size 和 识别准确度best_of 从 5 调低为 1。
  4. 限制并发:高级选项 → 通用设置 → GPU同时任务数[重启生效] 设为 1(修改后需重启软件)。
  5. 关闭其它吃显存的功能:同时开启「分离人声背景声」「clone 音色」「二次识别」会叠加占用,建议先只保留上下文感知测试。

补充说明:开启后除了显存压力变大,还更容易出现重复文本或幻觉。若出现重复,可调大 重复惩罚、调小 文本压缩率。

若按上述调整后仍报错,说明显卡物理显存确实不足,只能关闭该选项或改用更小模型。

暂无法确定具体原因。请提供软件安装目录下的 logs/ 文件夹中最新的日志文件(复制底部约30行报错信息)以便分析。

请查阅相关文档:

Thinking...
Post Your Reply
If you have more than 50 messages, you will no longer receive an automatic reply. Please ask a new question!
Open source and free maintenance is not easy. If this project is helpful to you, please consider making a small donation to help the project continue to maintain and update.

Dondate via ko-fi.com

Related resource