#4106 m5芯片的Mac在使用fastwhisper large-v3模型进行STT任务时,如何开启硬件加速?默认的速度太慢了,完全没发挥芯片能力。

240e:b8f* Posted at: 1 hour ago 👁6

m5芯片的Mac在使用fastwhisper large-v3模型进行STT任务时,如何开启硬件加速?默认的速度太慢了,完全没发挥芯片能力。

1 Replies

M5芯片的Mac无法通过CUDA进行硬件加速,因为CUDA仅支持NVIDIA显卡。但可以通过Apple的Metal Performance Shaders (MPS) 或 Core ML来加速faster-whisper。

解决方案:

  1. 确认环境:确保你的Python环境已安装支持MPS的PyTorch版本。通常可以通过 pip install torch torchvision torchaudio 安装。
  2. 配置pyVideoTrans

    • 在软件主界面,确保已选择 faster-whisper(本地) 渠道和 large-v3 模型。
    • 勾选右上角的 CUDA加速 复选框(虽然名为CUDA,但在macOS上,软件可能会尝试调用MPS后端)。
    • 如果软件没有自动调用MPS,你可能需要在启动软件前设置环境变量:export PYTORCH_ENABLE_MPS_FALLBACK=1
  3. 验证加速:处理任务时,通过macOS的“活动监视器”查看“GPU历史记录”,如果GPU使用率显著上升,说明加速已生效。

注意:faster-whisper对MPS的原生支持可能不如CUDA完善,加速效果取决于具体版本和模型。如果速度仍不理想,可以尝试以下优化:

  • 菜单 -> 工具/选项 -> 高级选项 -> 语音识别参数 中,将 CUDA数据类型 尝试改为 float16
  • 考虑使用稍小的模型,如 large-v2medium,以在速度和精度间取得平衡。

请查阅相关文档:

Post Your Reply
Open source and free maintenance is not easy. If this project is helpful to you, please consider making a small donation to help the project continue to maintain and update.

Related resource