【大语言模型】本地快速部署Ollama运行大语言模型详细流程

原创

wx60d2a462203aa 2024-06-27 11:32:47 博主文章分类：s20 cpolar ©著作权

文章标签 语言模型人工智能自然语言处理 Windows Docker 文章分类 Python 后端开发

©著作权归作者所有：来自51CTO博客作者wx60d2a462203aa的原创作品，请联系作者获取转载授权，否则将追究法律责任

💝💝💝欢迎来到我的博客，很高兴能够在这里和您见面！希望您在这里可以感受到一份轻松愉快的氛围，不仅可以获得有趣的内容和知识，也可以畅所欲言、分享您的想法和见解。
推荐:kwan 的首页,持续学习,不断总结,共同进步,活到老学到老
导航
檀越剑指大厂系列:全面总结 java 核心技术,jvm,并发编程 redis,kafka,Spring,微服务等
常用开发工具系列:常用的开发工具,IDEA,Mac,Alfred,Git,typora 等
数据库系列:详细总结了常用数据库 mysql 技术点,以及工作中遇到的 mysql 问题等
新空间代码工作室:提供各种软件服务,承接各种毕业设计,毕业论文等
懒人运维系列:总结好用的命令,解放双手不香吗?能用一个命令完成绝不用两个操作
数据结构与算法系列:总结数据结构和算法,不同类型针对性训练,提升编程思维,剑指大厂
非常期待和您一起在这个小小的网络世界里共同探索、学习和成长。💝💝💝 ✨✨ 欢迎订阅本专栏 ✨✨

博客目录

前言
1. 运行 Ollama
2. 安装 Open WebUI

2.1 在 Windows 系统安装 Docker
2.2 使用 Docker 部署 Open WebUI

3. 安装内网穿透工具
4. 创建固定公网地址

前言

本文主要介绍如何在 Windows 系统快速部署 Ollama 开源大语言模型运行工具，并安装 Open WebUI 结合 cpolar 内网穿透软件，实现在公网环境也能访问你在本地内网搭建的 llama2、千文 qwen 等大语言模型运行环境。

近些年来随着 ChatGPT 的兴起，大语言模型 LLM（Large Language Model）也成为了人工智能 AI 领域的热门话题，很多大厂也都推出了自己的大语言模型，并或多或少的开源了自己的大语言模型，今天就来分享一个最近很火，且对于小白来说比较好上手本地部署的运行本地 LLM 的工具 Ollama。

在本地运行大语言模型有诸多优点：

比如可以保护隐私、不会产生费用、可以无视网络问题、可以尝鲜各种开源模型等等。

Ollama 支持当前主要的开源大模型，比如 llama2、千文 qwen、mistral 等，可以在 Windows、Linux、MacOS 系统上进行部署。稳定性和便利性都非常不错，下面就来分享一下它在 Windows 系统上的安装与应用。

【大语言模型】本地快速部署Ollama运行大语言模型详细流程_Docker_02

1. 运行 Ollama

本文安装环境为：Windows10 专业版

下载： Ollama 下载地址：https://ollama.com/download

在下载页面点击 Windows，然后点击下载按钮。

【大语言模型】本地快速部署Ollama运行大语言模型详细流程_自然语言处理_03

安装： 下载完成后，双击下载的安装程序。

【大语言模型】本地快速部署Ollama运行大语言模型详细流程_自然语言处理_04

点击 Install 进行安装。

【大语言模型】本地快速部署Ollama运行大语言模型详细流程_人工智能_05

安装完成没有提示，我们打开一个终端，本文以 Windows PowerShell 为例，大家也可以使用其他的：

现在 Ollama 已经安装完了，我们需要在终端中输入下方命令运行一个大语言模型进行测试，这里以对在中文方面表现相对好些的千问为例，大家也可以使用其他的模型。

ollama run qwen

【大语言模型】本地快速部署Ollama运行大语言模型详细流程_Windows_06

可以看到，系统正在下载 qwen 的模型（并保存在 C 盘，C:\Users<username>.ollama\models 如果想更改默认路径，可以通过设置OLLAMA_MODELS进行修改，然后重启终端，重启 ollama 服务。）

setx OLLAMA_MODELS "D:\ollama_model"

【大语言模型】本地快速部署Ollama运行大语言模型详细流程_Docker_07

模型下载完成后，我们就可以在终端中输入问题进行使用了：

【大语言模型】本地快速部署Ollama运行大语言模型详细流程_Docker_08

至此，在 Windows 本地部署 ollama 并运行 qwen 大语言模型就已经完成了。一键搞定，对新手体验大语言模型真的非常友好。

2. 安装 Open WebUI

不过，我们现在只能在终端中使用，操作界面可能不像 ChatGPT 那样美观，如果能使用 web 页面进行交互，使用体验更好，也能保留之前的聊天记录，翻遍我们翻阅查询。

针对这个情况，我们可以在 Windows 上部署 Open WebUI 这个项目来实现类似 chatgpt 一样的交互界面。

本教程以 Open WebUI 这个项目为例，它以前的名字就叫 Formerly Ollama WebUI。可以理解为一开始就是专门适配 Ollama 的 WebUI，它的界面也对用惯了 chatgpt 的小伙伴来说更相似一些。当然，大家也可以选择其他的 WebUI，之后有机会也可以分享给大家。

如何在 Windows 系统安装 Open WebUI：

2.1 在 Windows 系统安装 Docker

首先，如果大家之前未安装过 Docker，需要执行下面三个步骤进行安装：

第一步：启动 Hyper-v

打开控制面板，在程序与功能页面选择启用或 Windows 功能

【大语言模型】本地快速部署Ollama运行大语言模型详细流程_语言模型_09

勾选 Hyper-V、虚拟机平台、Linux 子系统并点击确认

【大语言模型】本地快速部署Ollama运行大语言模型详细流程_自然语言处理_10

然后，重启计算机。

第二步：安装 WSL

打开 powershell，以管理员的身份启动命令窗口，输入

wsl --update

安装

wsl --install

【大语言模型】本地快速部署Ollama运行大语言模型详细流程_语言模型_11

然后再次重启电脑。

第三步：访问 Docker 官网进行下载

点击下载链接：https://docs.docker.com/desktop/install/windows-install/

【大语言模型】本地快速部署Ollama运行大语言模型详细流程_人工智能_12

选择 Windows 最新版本：

【大语言模型】本地快速部署Ollama运行大语言模型详细流程_人工智能_13

下载完成后，双击安装程序进行安装，如果是第一次安装，安装后会提示重启电脑，重启后点击桌面的 Docker Desktop 图标：选择先不注册直接登录即可。

【大语言模型】本地快速部署Ollama运行大语言模型详细流程_自然语言处理_14

打开 Docker Desktop 后，左下角显示是绿色的 running 就代表我们成功了：

【大语言模型】本地快速部署Ollama运行大语言模型详细流程_Docker_15

2.2 使用 Docker 部署 Open WebUI

在 Open WebUI 的 github 页面 https://github.com/open-webui/open-webui 可以看到，如果你的 Ollama 和 Open WebUI 在同一台主机，那使用下面显示的这一行命令就可以在本地快速进行部署：

【大语言模型】本地快速部署Ollama运行大语言模型详细流程_自然语言处理_16

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

现在我们打开终端，比如 powershell，然后输入 docker，回车

【大语言模型】本地快速部署Ollama运行大语言模型详细流程_自然语言处理_17

可以看到这个命令成功运行，说明 docker 安装成功。

然后将上边在 docker 中部署 Open WebUI 的命令复制后粘贴到终端中，回车。

【大语言模型】本地快速部署Ollama运行大语言模型详细流程_Windows_18

然后等待安装完毕即可：如下图所示

【大语言模型】本地快速部署Ollama运行大语言模型详细流程_人工智能_19

安装完成后，在 Docker Desktop 中可以看到 Open WebUI 的 web 界面地址为：https://localhost:3000

【大语言模型】本地快速部署Ollama运行大语言模型详细流程_Windows_20

点击后，会在浏览器打开登录界面：

【大语言模型】本地快速部署Ollama运行大语言模型详细流程_自然语言处理_21

点击 sign up 注册，账号，邮箱，密码记好，下次登录时需要用到邮箱和密码登录：

【大语言模型】本地快速部署Ollama运行大语言模型详细流程_Windows_22

然后点击 create account 创建账号即可：然后就能在浏览器中使用类似 chatgpt 界面的 Open WebUI 了！

【大语言模型】本地快速部署Ollama运行大语言模型详细流程_自然语言处理_23

点击右上角的设置，可以修改当前界面的语言为简体中文：然后点击保存即可。

【大语言模型】本地快速部署Ollama运行大语言模型详细流程_Docker_24

【大语言模型】本地快速部署Ollama运行大语言模型详细流程_Windows_25

点击上方选择一个模型旁边的加号+可以增加大模型，点击下拉按钮可以选择当前使用哪一个已安装的模型，接下来就可以愉快的跟 ai 聊天了！

【大语言模型】本地快速部署Ollama运行大语言模型详细流程_自然语言处理_26

3. 安装内网穿透工具

至此，我们已经成功完成在本地 Windows 系统使用 Docker 部署 Open WebUI 与 Ollama 大模型工具进行交互了！但如果想实现出门在外，也能随时随地使用 Ollama Open WebUI，那就需要借助 cpolar 内网穿透工具来实现公网访问了！接下来介绍一下如何安装 cpolar 内网穿透并实现公网访问！

下面是安装 cpolar 步骤：