在上一篇中启动ChatGLM3-6B和m3e模型时有两个接口地址需要记录

ChatGLM3-6B接口地址:ip:8000

m3e接口地址:ip:6008

one-api

通过标准的 OpenAI API 格式聚合各种大模型,开箱即用 。

基于docker运行one-api

一行代码运行one-api

docker run --name one-api -d --restart always -p 3000:3000 -e TZ=Asia/Shanghai -v /home/ubuntu/data/one-api:/data justsong/one-api

访问ip:3000登录系统,初始账号密码root/123456

ChatGLM3+m3e+fastGPT Centos超详细本地化部署(三)(one-api部署及配置)_one-api部署

在one-api中添加chatglm3渠道

  • 类型:自定义渠道。
  • 名称:chatglm3-6b-gpu
  • 模型名称可以自定义:chatglm3-6b-gpu
  • 密钥随便填:sk-aaabbbcccdddeeefffggghhhiiijjjkkk
  • 代理地址填入 ChatGLM3-6B 的 API 地址,此处我填的本地地址(注意:本地调试不能填127.0.0.1,需要填写ipv4地址,可以通过`ip -a`命令查看

ChatGLM3+m3e+fastGPT Centos超详细本地化部署(三)(one-api部署及配置)_ChatGLM_02

点击渠道,返回测试成功,说明配置成功

ChatGLM3+m3e+fastGPT Centos超详细本地化部署(三)(one-api部署及配置)_one-api部署_03

在one-api中添加m3e渠道

  • 类型:自定义渠道。
  • 名称:m3e
  • 模型名称可以自定义:m3e
  • 密钥随便填:sk-aaabbbcccdddeeefffggghhhiiijjjkkk
  • 代理地址填入m3e的 API 地址,此处我填的本地地址(注意:本地调试不能填127.0.0.1,需要填写ipv4地址,可以通过`ip -a`命令查看

ChatGLM3+m3e+fastGPT Centos超详细本地化部署(三)(one-api部署及配置)_one-api部署_04

点击测试,返回以下结果说明配置成功

ChatGLM3+m3e+fastGPT Centos超详细本地化部署(三)(one-api部署及配置)_m3e_05

点击令牌,添加新令牌

  • 名称:fastGPT
  • 过期时间:永不过期
  • 取消无限额度:设置成取消无限额度

ChatGLM3+m3e+fastGPT Centos超详细本地化部署(三)(one-api部署及配置)_ChatGLM_06

配置完成之后提交,点击复制ChatGPT Next Web

ChatGLM3+m3e+fastGPT Centos超详细本地化部署(三)(one-api部署及配置)_ChatGLM_07

会在我的令牌下面弹出参数,保存此参数,在部署fastGPT的时候会用到。