Ollama在MacOS、Linux本地部署千问大模型及实现WEB UI访问

一、前言

阿里通义千问发布了Qwen2，提供了0.5B～72B的量级模型，在Ollama官网可以搜索qwen2查看，本文提供了Ollama的下载（在线/离线安装）、Ollama运行模型、使用WebUI连接模型以及页面简单配置。

二、实现效果

1. 控制台直接提问

2. Web界面访问

三、实现步骤

1. Windows、MacOS、Linux安装Ollama（我这里只在Macos、Linux上进行了安装）
2. 使用Ollama拉取、运行模型（这步完成可以使用控制台、Api提问）
3. 用Web UI实现可视化提问，方便管理。

四、开始实现

1.1 安装

首先我们需要在Ollama官网点击“Download”按钮，选择适合系统的版本点击下载，但由于网络问题，会非常慢，建议去他的github上下载release。

可以看见Ollama还是非常活跃的，在这里选择合适的版本下载安装。

Mac版本下载后放到应用文件夹内，打开后根据提示即可完成安装，Linux的安装稍微麻烦点，官方提供的命令是：

curl https://ollama.ai/install.sh | sh

就是下载install.sh并执行，脚本还是先下载好安装包再进行安装，网络问题会非常慢或者下载失败，所以我们这里需要把脚本使用下面脚本下载下来：

wget https://ollama.ai/install.sh

vim编辑这个脚本总共需要修改两个地方：

• 注释下载链接（install.sh的第66行左右）

status "Downloading ollama..."
#curl --fail --show-error --location --progress-bar -o $TEMP_DIR/ollama "https://ollama.com/download/ollama-linux-${ARCH}${VER_PARAM}"

• 修改Ollama安装目录(install.sh的第73行左右)

status "Installing ollama to $BINDIR..."
$SUDO install -o0 -g0 -m755 -d $BINDIR
#$SUDO install -o0 -g0 -m755 $TEMP_DIR/ollama $BINDIR/ollama
$SUDO install -o0 -g0 -m755 ./ollama-linux-amd64  $BINDIR/ollama

以上步骤做好，就可以进入到install.sh脚本所在目录使用sh ./install.sh开始安装了，安装完，输入如图ollama -v出现版本代表安装成功。

1.2 模型拉取、运行

文章开头提到的在官网找到qwen2，选择需要的版本，如下图选择了1.5b版本，右边对应着执行命令，复制命令在MacOS或者Linux终端中执行。

这里如果没有模型会自动拉取模型，拉取速度非常快，拉取完后显示“>>> Send a message (/? for help)”代表可以直接输入问题进行提问了。

1.3 用Web UI实现可视化提问。

本文使用docker运行web界面，docker的安装这里不做过多赘述，终端中执行：

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

docker会自动拉取镜像运行容器，运行成功后访问http://127.0.0.1:3000进入界面，首次注册登录的是管理员账号，可以设置成中文，也可以在设置中配置后面注册的默认角色。

需要注意的是需要选择提问的模型，在进行提问。

五、总结

总体还是比较简单的，更高阶的玩法，看小伙伴的反馈，后面更新比如自定义智能体、训练等。