#4310 使用本地faster-whisper进行转录的时候可以租用云端GPU运行吗?

5.34* Posted at: 10 hours ago 👁21

使用本地faster-whisper进行转录的时候可以租用云端GPU运行吗?

5 Replies

faster-whisper 是集成在您本地 pyVideoTrans 中的语音识别组件,无法将转录任务单独卸载到远程 GPU 上运行。若要利用云端 GPU,需要将整个软件部署到带有 NVIDIA 显卡的云服务器(如 AutoDL、阿里云 GPU 实例等),并完成环境配置。官方未提供一键云端部署方案,您需自行:

  1. 租用一台搭载 NVIDIA 显卡、显存足够(如 large-v3 模型建议 ≥10 GB 显存)的云服务器,并安装好 NVIDIA 驱动、CUDA 12.8 和 cuDNN 9.11+。
  2. 参照源码部署说明(Linux/macOS),在服务器上安装 Python 3.10、FFmpeg、uv,克隆仓库并执行 uv sync
  3. 通过远程桌面或命令行运行 uv run sp.py,此时即可使用云端 GPU 进行转录。
  4. 注意云服务器与本地间的文件传输,确保视频文件上传至服务器,处理完毕后再下载结果。

若仅为临时加速,不建议采用此方式,本地配置 NVIDIA 显卡并开启 CUDA 加速会更方便。

请查阅相关文档:

使用kaggle提供的GPU是否可行?

Kaggle 提供的 GPU 环境仅是一个云端 Notebook 运行实例,并非传统服务器。理论上您可以将 pyVideoTrans 源码手动部署到 Kaggle Notebook 中运行,但官方知识库并未提供针对 Kaggle 的指导,也未验证其兼容性。若执意尝试,需自行处理以下问题:

  1. 环境依赖:需在 Notebook 中安装 Python 3.10、FFmpeg、CUDA 驱动以及 uv 包管理器,并克隆源码执行 uv sync
  2. 网络限制:Kaggle 会话可能无法直接访问 HuggingFace 下载模型,需配置代理或手动上传模型文件至 models 目录。
  3. 会话持久性:Kaggle 的免费 GPU 会话有时间限制(单次最长约 12 小时),且运行结束后临时文件会被清空,不适合处理大批量或长视频。
  4. 显存风险:Kaggle 通常提供 T4 等显卡(显存 15GB),运行 large-v3 勉强够用,但转录长视频时可能因显存溢出而报错。

鉴于上述不便,若仅为短期测试,可尝试,但官方不支持此部署方式。如需稳定 GPU 加速,建议租用按量付费的云 GPU 服务器(如 AutoDL),或为本机配备 NVIDIA 显卡并开启 CUDA 加速。

如果一定要在 Kaggle 上尝试,请自行参考 Linux 源码部署文档,并留意会话的生命周期限制。

请查阅相关文档:

如何部署到AutoDL上?

暂无法提供 AutoDL 的专项一键部署脚本,但您可参照 Linux 源码部署流程,在 AutoDL 实例中手动搭建环境。基本步骤如下:

  1. 租用实例:在 AutoDL 选择含 NVIDIA 显卡、显存 ≥10GB(推荐 16G+)、预装 CUDA 12.8 的镜像,或租用后自行安装 CUDA 12.8 和 cuDNN 9.11+。
  2. 安装依赖:打开终端,执行 apt update && apt install ffmpeg -y(若镜像未预装);安装 Python 3.10 和 uv(参考官方文档)。
  3. 部署软件:克隆仓库 git clone https://github.com/jianchang512/pyvideotrans,进入目录后执行 uv sync 安装所有依赖。
  4. 启动程序:使用 uv run sp.py 启动图形界面(需搭配 X11 转发或 NoVNC 等远程桌面工具),或使用命令行模式 uv run cli.py --task stt ... 进行转录。
  5. 文件管理:通过 AutoDL 的 JupyterLab 或 scp 将视频文件上传到实例,处理完成后下载输出文件。

注意事项:云实例重启后临时数据会丢失,建议将输出目录挂载到持久化存储(如网盘);模型首次运行会自动下载到 models/ 目录,若网络不通需手动下载上传;长时间运行需保持 SSH 连接活跃。

由于官方未提供 AutoDL 专项支持,此方式仅供有能力排查问题的用户尝试。如遇错误,请提供 logs/ 目录下的日志信息以便进一步分析。

请查阅相关文档:

Post Your Reply
Open source and free maintenance is not easy. If this project is helpful to you, please consider making a small donation to help the project continue to maintain and update.

Related resource