Ollama + WebUI 搭建本地大模型

随着这一两年大模型的爆火，越来越多的开发者希望能够在本地环境中运行大模型，既可以提高数据安全性，又能更好地进行个性化开发。Ollama 作为目前最主流的大模型管理工具，已经是玩转大模型必不可获取的一步。无论你是刚刚接触大模型的新手，还是已经有一定经验的老手，这篇文章都将带你一步一步地了解如何轻松地在本地部署大模型。

ollama

1. 下载地址：https://ollama.com/download

根据自己的本地环境，选择对应的版本即可

2. 选择想要的模型：https://ollama.com/library

根据机器内存选择合适大小的模型参数，右侧复制命令

3. 复制命令到 terminal 执行（windows 使用 cmd）

这一步会下载并启动，接下来就可以直接开始对话了

• 当然 ollama 提供了一些内置的命令

• 下载的模型文件目录可以通过 /show modelfile 查看

open-webui

命令行工具对非开发同学还是不太友好，毕竟在大模型应用满大街的今天，不管是 Independent developer，还是一些大型的商业公司，都一直在卷用户体验，webUI 也应势而生。

1. 安装 docker：https://www.docker.com/

为了部署方便，这里直接使用 docker，本地有 docker 的话可以跳过这一步

2. 安装 webUI：https://github.com/open-webui/open-webui

直接下载镜像并启动，命令如下：

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

3. 等待镜像启动成功，可以在面板看到如下，点击跳转即可到web界面

4. 接下来就可以选择想要的模型，开始对话了

写在后面

除了 open-webui，Ollama 的生态还提供了各种其他的UI以及插件，部分也支持通过 api-key 直接远程访问商业大模型，甚至提供了移动端的访问接口，这无疑大大降低了大模型的使用门槛。