在上一篇中启动ChatGLM3-6B和m3e模型时有两个接口地址需要记录
ChatGLM3-6B接口地址:ip:8000
m3e接口地址:ip:6008
one-api
通过标准的 OpenAI API 格式聚合各种大模型,开箱即用 。
基于docker运行one-api
一行代码运行one-api
docker run --name one-api -d --restart always -p 3000:3000 -e TZ=Asia/Shanghai -v /home/ubuntu/data/one-api:/data justsong/one-api
访问ip:3000登录系统,初始账号密码root/123456
在one-api中添加chatglm3渠道
- 类型:自定义渠道。
- 名称:chatglm3-6b-gpu
- 模型名称可以自定义:chatglm3-6b-gpu
- 密钥随便填:sk-aaabbbcccdddeeefffggghhhiiijjjkkk
- 代理地址填入 ChatGLM3-6B 的 API 地址,此处我填的本地地址(注意:本地调试不能填127.0.0.1,需要填写ipv4地址,可以通过`ip -a`命令查看)
点击渠道,返回测试成功,说明配置成功
在one-api中添加m3e渠道
- 类型:自定义渠道。
- 名称:m3e
- 模型名称可以自定义:m3e
- 密钥随便填:sk-aaabbbcccdddeeefffggghhhiiijjjkkk
- 代理地址填入m3e的 API 地址,此处我填的本地地址(注意:本地调试不能填127.0.0.1,需要填写ipv4地址,可以通过`ip -a`命令查看)
点击测试,返回以下结果说明配置成功
点击令牌,添加新令牌
- 名称:fastGPT
- 过期时间:永不过期
- 取消无限额度:设置成取消无限额度
配置完成之后提交,点击复制ChatGPT Next Web
会在我的令牌下面弹出参数,保存此参数,在部署fastGPT的时候会用到。