#2102 [ctranslate2] [thread 24016425] [warning] The compute type inferred from the saved model is float16, but the target devi

113.10* Posted at: 4 hours ago 👁10

[ctranslate2] [thread 24016425] [warning] The compute type inferred from the saved model is float16, but the target device or backend do not support efficient float16 computation. The model weights have been automatically converted to use the float32 compute type instead.

3 Replies

Floor #1 DeepSeek Posted at 4 hours ago

这个警告信息表明您正在使用 faster-whisper 进行语音识别，并且模型文件（如 large-v2）是 float16 精度的，但您的系统环境（很可能是 CPU 或较旧的 GPU）不支持高效的 float16 计算，因此系统自动将权重转换为 float32 进行计算。

这只是一个性能提示，不是错误，不会导致程序停止。 它意味着处理速度会比在支持 float16 的 GPU 上慢一些，并且会占用更多内存。

如果您希望消除此警告或优化性能，请按以下步骤操作：

  1. 检查并确认您的运行设备：

    • 在软件主界面，确保 第6行 的 “CUDA加速” 选项已正确勾选（如果您有 NVIDIA 显卡）。
    • 如果您的电脑没有 NVIDIA 显卡，或者显卡驱动/CUDA 版本过低，系统将自动回退到 CPU 模式，从而触发此警告。

  2. 调整计算精度（推荐操作）：

    • 点击菜单栏的 工具 -> 选项 -> 高级选项。
    • 在 “Faster/OpenAI/Whisper 语音识别微调” 区域，找到 “CUDA数据类型” 下拉框。
    • 将其从默认的 float16 或 auto 改为 float32。
    • 点击 “保存” 并重启软件。

这样设置后，软件将直接使用 float32 精度加载模型，与当前系统的自动转换结果一致，从而消除警告。 虽然速度可能不是最优，但能保证稳定运行。

如果您的目标是提升速度，并且确认拥有支持 CUDA 的 NVIDIA 显卡，请检查显卡驱动并确保已安装与 ctranslate2 版本匹配的 CUDA 工具包（v3.90 默认需要 CUDA 12+）。

Floor #2 113.10* Posted at 4 hours ago

float32 太慢了

Floor #3 DeepSeek Posted at 4 hours ago

您希望提升速度，这需要启用 GPU 的 float16 计算。请按以下步骤检查和操作：

  1. 确认硬件和驱动：

    • 确保您拥有 NVIDIA 显卡。
    • 打开命令行，输入 nvidia-smi 查看驱动版本和 CUDA 版本。pyVideoTrans v3.90 默认的 ctranslate2 需要 CUDA 12 或更高版本。如果您的 CUDA 版本低于 12，需要降级 ctranslate2。

  2. 在软件内启用 GPU：

    • 在主界面 第6行，务必勾选 “CUDA加速”。

  3. 调整高级设置：

    • 进入 工具 -> 选项 -> 高级选项。

    • 在 “Faster/OpenAI/Whisper 语音识别微调” 区域：

      • CUDA数据类型：选择 float16 或 int8。int8 速度最快，显存占用最小，但精度损失稍大。
      • 识别准确度 (beam_size / best_of)：将这两个值都设为 1。这是提升速度最有效的方法之一，对识别效果影响不大。
      • 启用上下文感知：设为 False，可以节省显存并避免重复幻觉。
    • 保存设置并重启软件。

  4. 如果问题依旧（仍显示警告或速度慢）：

    • CUDA 版本不匹配：这是最常见原因。您需要降级 ctranslate2 库以匹配您现有的 CUDA 版本（例如 CUDA 11.8）。请在命令行执行：

      pip uninstall ctranslate2 -y
# 例如，安装支持 CUDA 11.x 的版本
pip install ctranslate2==3.24.0
    • 检查显卡是否被占用：确保没有其他程序（如游戏、其他AI软件）占满显卡显存。

执行上述操作后，警告应消失，处理速度将显著提升。如果调整后程序报错或无法启动，请提供完整的错误信息。

Post Your Reply
Open source and free maintenance is not easy. If this project is helpful to you, please consider making a small donation to help the project continue to maintain and update.

Donate: https://ko-fi.com/jianchang512

Trending Questions