前文已完成安装与部署Ollama,实现了qwen2大模型的命令行方式与API方式访问,但是对于日常使用来说还是不方便,特别是使用过OpenAI的界面后,会觉得操作界面不像ChatGPT那样美观,如果能使用web页面进行交互,使用体验更好,也能保留之前的聊天记录,便于后期翻阅查询。

[LLM] Ollama+Open-webui本地运行大模型问答_Windows

Open-webui就是一款适配Ollama的web端工具,它可以采用本地安装与docker安装方式进行部署,在Windows系统中推荐采用docker部署。

Open-webui 安装

首先Windows中部署Docker需要底层WSL2支持,配置过程中首先安装Windows Hyper-v(Windows server平台的虚拟化技术)。

Hyper-v安装

前提条件:

  • Windows 专业版,企业版,教育版
  • Windows 1903或更高版本
  • 内存容量至少4GB及以上
  • CPU支持VT-X/VT-D

Windows 控制面板——程序与功能——启用或关闭Windows功能——Hyper-v

[LLM] Ollama+Open-webui本地运行大模型问答_Windows_02


Docker-Desktop安装

访问Docker官网进行下载

点击下载链接:https://docs.docker.com/desktop/install/windows-install

下载完成后,双击安装程序进行安装,如果是第一次安装,安装后会提示重启电脑,重启后点击桌面的Docker Desktop图标:选择先不注册直接登录即可。

[LLM] Ollama+Open-webui本地运行大模型问答_Open-webUI_03

查看docker状态信息:docker info

docker info

[LLM] Ollama+Open-webui本地运行大模型问答_Docker_04

[LLM] Ollama+Open-webui本地运行大模型问答_Open-webUI_05

Open-webUI部署

ollama已存在本机,Open-webUI部署

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

ollama不在本机,Open-webUI部署

docker run -d -p 3000:8080 -e OLLAMA_BASE_URL=https://example.com -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

Open-webUI使用

等待安装完成,期间依据网速,时间不确定,等候安装完成以后,在浏览器中输入http://localhost:3000

[LLM] Ollama+Open-webui本地运行大模型问答_Docker_06

打开登录界面后,需要注册一个管理员账户,输入你的邮箱和密码,点击sign in,完成注册,自动登录。

[LLM] Ollama+Open-webui本地运行大模型问答_WSL2_07

选择已下载的大模型,如果不存在,请使用Ollama pull 下载

在最底部的输入框中输入你的问题,开始进行智能问答。

[LLM] Ollama+Open-webui本地运行大模型问答_WSL2_08

[LLM] Ollama+Open-webui本地运行大模型问答_Windows_09

至此,基础版的Open-webUI功能已经实现,问答的质量和速度,取决于你采用的大模型LLM与硬件平台(CPU/GPU/Memory)。