本地部署Gemma3,Ollama与Open WebUI部署教程详解

Ollama部署Gemma3 模型并使用 Open WebUI 进行 Web 访问

1. 安装 Ollama

Ollama 是一个用于运行大型语言模型的工具。

支持的操作系统

  • Windows
  • Linux
  • macOS

下载和安装:

2. 安装 Gemma3 模型

Ollama 安装完成后,您可以使用以下命令下载并运行 Gemma3 模型。

文本模型:

  • 1B 参数模型(32k 上下文窗口):
ollama run gemma3:1b

多模态模型(视觉):

  • 4B 参数模型(128k 上下文窗口):
ollama run gemma3:4b
  • 12B 参数模型(128k 上下文窗口):
ollama run gemma3:12b
  • 27B 参数模型(128k 上下文窗口):
ollama run gemma3:27b
  • 运行上述命令之一将自动下载并启动相应的 Gemma3 模型。

3. 安装 Open WebUI

Open WebUI 提供了一个用户友好的 Web 界面,用于与 Ollama 运行的模型进行交互。

使用 Conda 安装:

1.创建 Conda 环境:

conda create -n open-webui python=3.11
  1. 激活环境:
conda activate open-webui
  1. 安装 Open WebUI:
pip install open-webui
  1. 启动服务器:
open-webui serve

更新 Open WebUI:

  • 要将 Open WebUI 更新到最新版本,请运行:
pip install -U open-webui

4. 配置并启动 Open WebUI 以连接 Ollama

访问 Open WebUI:

  • 安装完成后,在 Web 浏览器中访问以下地址:
  • http://localhost:8080/

配置 Ollama 连接:

  • Open WebUI 应该会自动检测到本地运行的 Ollama 实例。
  • 如果需要手动配置,请在 Open WebUI 的设置中查找 Ollama 连接选项。
  • 确保 Open WebUI 已正确配置为使用您已安装的 Gemma3 模型。

开始使用:

  • 现在,您可以使用 Open WebUI 的界面与 Gemma3 模型进行交互。您可以输入文本提示,并根据所选模型(文本或多模态)获得相应的响应。

评论

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注