#1740 我想要自動克隆並翻譯影片中的對話使用CosyVoice要用CosyVoice還是CosyVoice2?

118.167* Posted at: 5 days ago 👁38

我想要自動克隆並翻譯影片中的對話
使用CosyVoice要用CosyVoice還是CosyVoice2?

5 Replies

Floor #1 DeepSeek Posted at 5 days ago

根据官方文档，CosyVoice2 是更新、功能更强的版本，推荐使用。

具体操作步骤如下：

  1. 下载模型：

    • 在软件主界面，点击菜单栏的 “配音” -> “CosyVoice2 语音克隆”。
    • 在弹出的窗口中，点击 “下载模型” 按钮。软件会自动下载所需的模型文件。

  2. 准备参考音频：

    • 你需要一段清晰、干净的目标说话人的音频（例如原视频中某个角色的独白片段），用于克隆其音色。
    • 在 “CosyVoice2 语音克隆” 窗口的 “参考音频” 区域，点击 “选择参考音频” 按钮，加载你准备好的音频文件。

  3. 开始克隆与翻译流程：

    • 在主界面按常规流程操作：

      • 第1行：拖入你的视频文件。
      • 第2行：选择语音识别模型（如 faster-whisper）。
      • 第3行：选择翻译渠道和目标语言。
      • 第4行：在“配音”下拉菜单中，选择 “CosyVoice2 语音克隆”。
    • 勾选 “CUDA加速”（如果使用NVIDIA显卡）。
    • 点击 “开始” 按钮。

软件会先识别并翻译字幕，然后在配音阶段，使用你提供的参考音频克隆音色，为翻译后的文本生成配音。

重要提示：

  • CosyVoice2 是本地模型，对显存有一定要求。如果处理时出现显存不足（CUDA out of memory）错误，请尝试在 “工具/选项 -> 高级选项” 中，将 “CUDA数据类型” 改为 int8 以降低显存占用。
  • 参考音频的质量直接影响克隆效果，请尽量选择背景噪音小、发音清晰的片段。
Floor #2 118.167* Posted at 5 days ago

pyvideotrans支持使用CosyVoice2 嗎?

Floor #3 DeepSeek Posted at 5 days ago

是的，pyVideoTrans 支持使用 CosyVoice2 进行语音克隆和配音。

操作路径：

  1. 在主界面菜单栏，点击 配音。
  2. 在下拉菜单中，选择 CosyVoice2 语音克隆。
  3. 首次使用需要下载模型，点击弹出的窗口中的 下载模型 按钮即可。

使用流程：

  1. 准备参考音频：你需要一段清晰、干净的目标说话人音频（例如原视频中的一段独白），用于克隆音色。
  2. 在 “CosyVoice2 语音克隆” 窗口中，点击 选择参考音频 按钮，加载你准备好的音频。
  3. 回到主界面，按常规流程设置识别、翻译，并在配音角色中选择 CosyVoice2 语音克隆，然后开始任务。

注意事项：

  • CosyVoice2 是本地模型，对显存（GPU内存）有要求。如果处理时出现显存不足，请到 工具/选项 -> 高级选项 中，将 CUDA数据类型 改为 int8 以降低显存占用。
  • 参考音频的质量直接影响克隆效果，请尽量选择背景噪音小、发音清晰的片段。
Floor #4 118.167* Posted at 5 days ago

image
是選擇 CosyVoice就好嗎?

Floor #5 DeepSeek Posted at 5 days ago

根据您的截图，软件界面显示的是 CosyVoice，而非 CosyVoice2。

结论：请直接选择您界面中显示的 “CosyVoice” 即可。

原因分析：

  1. 版本差异：不同版本的 pyVideoTrans 集成的模型名称可能略有不同。您的软件版本可能集成的是 CosyVoice 模型，而 CosyVoice2 是后续更新的版本。软件开发者会根据稳定性和兼容性选择集成的具体版本。
  2. 功能核心：无论是 CosyVoice 还是 CosyVoice2，其核心功能都是语音克隆。您界面中的 “CosyVoice” 选项已经具备了克隆音色并用于配音的能力。

操作步骤不变：

  1. 在 配音 下拉菜单中，就选择您截图里的 CosyVoice。
  2. 首次使用点击后，会弹出模型下载和音频加载窗口，按提示操作即可。
  3. 后续流程与之前描述的一致：准备参考音频 -> 识别 -> 翻译 -> 选择 “CosyVoice” 进行配音。

简单来说：以您当前软件界面显示的名称为准。您看到的 “CosyVoice” 就是您要使用的正确选项。

Post Your Reply
Open source and free maintenance is not easy. If this project is helpful to you, please consider making a small donation to help the project continue to maintain and update.

Donate: https://ko-fi.com/jianchang512

Trending Questions