#2877 我已经在本地和这个软件里修改了token的长度为什么还是报错

37.19* Posted at: 1 day ago 👁17

image
image
我已经在本地和这个软件里修改了token的长度为什么还是报错

1 Replies

这是由于您使用的本地大模型(如 Ollama)的上下文长度(Context Length)不足,无法处理过长的字幕文本导致的。修改软件内的“最大token”设置可能无效,因为该设置仅适用于部分在线API,而本地模型有其固定的上下文窗口限制。

解决方案:

  1. 确认并调整字幕分割方式:在“翻译设置”或“高级选项”中,确保取消勾选“发送完整字幕”。这将强制软件将字幕按行拆分后逐行发送给模型,避免单次请求超出模型的上下文限制。
  2. 检查并调整本地模型配置:登录您的 Ollama 管理页面(通常是 http://localhost:11434),查看当前运行的模型。如果模型较小(如 7B 或 13B 参数),其上下文长度可能只有 4096 或 8192 tokens。请考虑更换为支持更长上下文的模型(如 qwen2.5:14bllama3.1:8b,它们通常支持 32k 或 128k 上下文)。
  3. 降低翻译并发数:在“高级选项”中,将“翻译线程数”设置为 1,以减少对模型的并发压力,避免因多个长请求叠加导致的内存或上下文溢出。
  4. 检查提示词(Prompt):前往软件根目录下的 prompts 文件夹,检查您使用的翻译提示词文件。确保提示词本身不会生成过长的回复。如果提示词过于复杂,可以尝试简化它。

参考文档:

Post Your Reply
Open source and free maintenance is not easy. If this project is helpful to you, please consider making a small donation to help the project continue to maintain and update.

Related resource