一键在本地部署代码大模型系列教程——Ollama篇

 CodeGeeX4-ALL-9B作为最新一代CodeGeeX4系列模型的开源版本发布后，很多用户对这次更新的CodeGeeX插件支持本地模式非常感兴趣，都希望能够在本地部署CodeGeeX4-ALL-9B，然后通过本地模式接入CodeGeeX插件中来使用代码补全和智能问答的功能。

CodeGeeX4-ALL-9B这次也专门适配了GGUF，今天我们详细介绍只用简单的一招，不用考虑环境和依赖，通过Ollama跑起来本地的CodeGeeX代码大模型。

首先我们需要用到的Ollama也是一个开源项目，是在本地快速跑各种开源大模型的最优选择之一。CodeGeeX4-ALL-9B在开源后不到24小时就获得了Ollama的支持，目前通过Ollama下载已经超过了6000次+。

安装使用的过程非常简单，跟着下面的教程，大家也可以一起来体验：

首先，把Ollama开源项目一键安装在自己的电脑上。建议安装Ollama0.2或更高版本。MacOS和Windows都有一键安装包。Linux也只需要执行一行命令。

安装完成后，打开终端，输入ollama，能看到这些信息就说明Ollama已经安装成功。

接下来我们打开Ollama的官网，搜索CodeGeeX4。

打开进入详情页面，就可以看到CodeGeeX4-ALL-9B模型的相关介绍和使用命令了，复制运行命令。

在终端运行刚才复制的模型运行命令，就开始安装CodeGeeX4-ALL-9B模型了。

看到终端命令行提示的“Send a message”就说明CodeGeeX4-ALL-9B已经成功安装在你的电脑上，你可以直接在这里输入问题和CodeGeeX4-ALL-9B进行对话。

接下来，按照下面的步骤，就可以把CodeGeeX4-ALL-9B接入到您的CodeGeeX插件本地模式中。

1. 在VSCode、JetBrains全家桶的IDE插件市场中，搜索「CodeGeeX」，点击下载安装插件。

2. 配置跨域所需的环境变量

在终端输入

export OLLAMA_ORIGINS="*"

或

launchctl setenv OLLAMA_ORIGINS "*"

来设置环境变量，Windows环境可以在环境变量中手动配置。

3. 设置后需要重启 Ollama 服务和 IDE(VSCode 或其他环境) 使环境变量生效。

4. 启动CodeGeeX4，在终端输入

ollama serve

打开一个新的终端，在终端输入

ollama run codegeex4

5. 配置接口地址

在CodeGeeX插件的本地模式设置中，输入模型地址：

http://localhost:11434/v1/chat/completions

打开模型配置的高级模式，在模型名称栏填写

codegeex4

现在就可以享受 CodeGeeX4在本地提供的编码体验！

希望了解更多模型部署的教程，前往CodeGeeX4在Github上的教程与Demo查看，如果您喜欢我们的项目并认为它对您有帮助，请在GitHub上为CodeGeeX4点一个⭐️ Star！