请问大佬,text-generation-webui中已启用API和OpenAI,但是在软件中无论用..

*.71.218.36 /
请问大佬,text-generation-webui中已启用API和OpenAI,但是在软件中无论用本地还是OpenAI兼容,模型名字也已填。都无法对接到TGM的翻译接口,不知道是为什么。用llama.cpp部署的,默认情况下也无法连接。必须要手动设置秘钥才可以。求问这个软件是无法对接TGM的接口吗?
回复
  • #1 / **.158.91.65
    没看明白
    必须是兼容openai接口
    然后正确填写模型提供的api地址,如果有/v1,也必须填写到/v1

    密钥需设置,如果无密钥,就随便填写密钥

    部署后先保证接口本身已可用,再去对接软件
  • #2 / **.69.34.43
    要保证填写的是api地址而非webui地址

    具体百度那个text-g-webui的api启动方法
    启动后可以先浏览器里访问下api api api地址,看看是否能访问
  • #3 / **.71.210.15
    已解决,原来TGM的要在地址后缀加V1才行。感谢感谢
  • #4 / **.71.210.15
    感谢感谢,问题已解决,只需要地址后面加V1
问答模块基于php8.1/sqlite/webman/layui构建 © pyvideotrans.com