【大模型专栏—实战篇】Ollama的使用_Docker

大模型专栏介绍

😊你好，我是小航，一个正在变秃、变强的文艺倾年。

🔔本文为大模型专栏子篇，大模型专栏将持续更新，主要讲解大模型从入门到实战打怪升级。如有兴趣，欢迎您的阅读。

💡适合人群：本科生、研究生、大模型爱好者，期待与你一同探索、学习、进步，一起卷起来叭！


目录

  • Ollama
  • 介绍
  • 安装
  • Win 安装
  • Linux 安装
  • Docker 安装
  • 常用命令


Ollama

介绍

Ollama是一个专为在本地环境中运行和定制大型语言模型而设计的工具。它提供了一个简单而高效的接口，用于创建、运行和管理这些模型，同时还提供了一个丰富的预构建模型库，可以轻松集成到各种应用程序中。Ollama的目标是使大型语言模型的部署和交互变得简单，无论是对于开发者还是对于终端用户。

安装

Win 安装

官网下载：https://ollama.com/

验证安装：

ollama --version

【大模型专栏—实战篇】Ollama的使用_语言模型_02


windows 的安装默认不支持修改程序安装目录，

  • 默认安装后的目录：C:\Users\username\AppData\Local\Programs\Ollama
  • 默认安装的模型目录：C:\Users\username\ .ollama
  • 默认的配置文件目录：C:\Users\username\AppData\Local\Ollama

我们可以设置环境变量来调整保存model的地址：

【大模型专栏—实战篇】Ollama的使用_Docker_03


【大模型专栏—实战篇】Ollama的使用_Docker_04


新建系统变量（别忘了提前创建文件夹）：

【大模型专栏—实战篇】Ollama的使用_Docker_05

Linux 安装
# 方式一：
# 更新包列表
sudo apt-get update
# 安装ollama
sudo apt-get install ollama

# 方式二：
curl -fsSL https://ollama.com/ | sh

# 验证安装
ollama --version
Docker 安装
docker pull ollama/ollama
docker run -d -p 3000:8080 --gpus=all -v ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui --restart always ollama/ollama

# 验证
curl localhost:3000

常用命令

1. 启动Ollama服务
ollama serve

2. 从模型文件创建模型
ollama create

3. 显示模型信息
ollama show

4. 运行模型
ollama run 模型名称

5. 从注册表中拉去模型
ollama pull 模型名称

6. 将模型推送到注册表
ollama push

7. 列出模型
ollama list

8. 复制模型
ollama cp

9. 删除模型
ollama rm 模型名称

10. 获取有关Ollama任何命令的帮助信息
ollama help
📌 [ 笔者 ]   文艺倾年
📃 [ 更新 ]   2024.9.24
❌ [ 勘误 ]   /* 暂无 */
📜 [ 声明 ]   由于作者水平有限，本文有错误和不准确之处在所难免，
              本人也很想知道这些错误，恳望读者批评指正！

【大模型专栏—实战篇】Ollama的使用_大模型_06