Ollama部署Gemma3 模型并使用 Open WebUI 进行 Web 访问

1. 安装 Ollama

Ollama 是一个用于运行大型语言模型的工具。

支持的操作系统

• Windows
• Linux
• macOS

下载和安装：

• 访问 https://ollama.com/download 并根据您的操作系统下载安装程序。
• 运行安装程序并按照提示完成安装。

2. 安装 Gemma3 模型

Ollama 安装完成后，您可以使用以下命令下载并运行 Gemma3 模型。

文本模型：

• 1B 参数模型（32k 上下文窗口）：

ollama run gemma3:1b

多模态模型（视觉）：

• 4B 参数模型（128k 上下文窗口）：

ollama run gemma3:4b

• 12B 参数模型（128k 上下文窗口）：

ollama run gemma3:12b

• 27B 参数模型（128k 上下文窗口）：

ollama run gemma3:27b

• 运行上述命令之一将自动下载并启动相应的 Gemma3 模型。

3. 安装 Open WebUI

Open WebUI 提供了一个用户友好的 Web 界面，用于与 Ollama 运行的模型进行交互。

使用 Conda 安装：

1.创建 Conda 环境：

conda create -n open-webui python=3.11

2. 激活环境：

conda activate open-webui

3. 安装 Open WebUI：

pip install open-webui

4. 启动服务器：

open-webui serve

更新 Open WebUI：

• 要将 Open WebUI 更新到最新版本，请运行：

pip install -U open-webui

4. 配置并启动 Open WebUI 以连接 Ollama

访问 Open WebUI：

• 安装完成后，在 Web 浏览器中访问以下地址：
• http://localhost:8080/

配置 Ollama 连接：

• Open WebUI 应该会自动检测到本地运行的 Ollama 实例。
• 如果需要手动配置，请在 Open WebUI 的设置中查找 Ollama 连接选项。
• 确保 Open WebUI 已正确配置为使用您已安装的 Gemma3 模型。

开始使用：

• 现在，您可以使用 Open WebUI 的界面与 Gemma3 模型进行交互。您可以输入文本提示，并根据所选模型（文本或多模态）获得相应的响应。