前文已完成安装与部署Ollama,实现了qwen2大模型的命令行方式与API方式访问,但是对于日常使用来说还是不方便,特别是使用过OpenAI的界面后,会觉得操作界面不像ChatGPT那样美观,如果能使用web页面进行交互,使用体验更好,也能保留之前的聊天记录,便于后期翻阅查询。
Open-webui就是一款适配Ollama的web端工具,它可以采用本地安装与docker安装方式进行部署,在Windows系统中推荐采用docker部署。
Open-webui 安装
首先Windows中部署Docker需要底层WSL2支持,配置过程中首先安装Windows Hyper-v(Windows server平台的虚拟化技术)。
Hyper-v安装
前提条件:
- Windows 专业版,企业版,教育版
- Windows 1903或更高版本
- 内存容量至少4GB及以上
- CPU支持VT-X/VT-D
Windows 控制面板——程序与功能——启用或关闭Windows功能——Hyper-v
Docker-Desktop安装
访问Docker官网进行下载
点击下载链接:https://docs.docker.com/desktop/install/windows-install
下载完成后,双击安装程序进行安装,如果是第一次安装,安装后会提示重启电脑,重启后点击桌面的Docker Desktop图标:选择先不注册直接登录即可。
查看docker状态信息:docker info
docker info
Open-webUI部署
ollama已存在本机,Open-webUI部署
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
ollama不在本机,Open-webUI部署
docker run -d -p 3000:8080 -e OLLAMA_BASE_URL=https://example.com -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
Open-webUI使用
等待安装完成,期间依据网速,时间不确定,等候安装完成以后,在浏览器中输入http://localhost:3000
打开登录界面后,需要注册一个管理员账户,输入你的邮箱和密码,点击sign in,完成注册,自动登录。
选择已下载的大模型,如果不存在,请使用Ollama pull 下载
在最底部的输入框中输入你的问题,开始进行智能问答。
至此,基础版的Open-webUI功能已经实现,问答的质量和速度,取决于你采用的大模型LLM与硬件平台(CPU/GPU/Memory)。