启鑫的黑板报

标签： Open WebUI

  • 本地部署Gemma3，Ollama与Open WebUI部署教程详解

    Ollama部署Gemma3 模型并使用 Open WebUI 进行 Web 访问

    1. 安装 Ollama

    Ollama 是一个用于运行大型语言模型的工具。

    支持的操作系统

    • Windows
    • Linux
    • macOS

    下载和安装：

    2. 安装 Gemma3 模型

    Ollama 安装完成后，您可以使用以下命令下载并运行 Gemma3 模型。

    文本模型：

    • 1B 参数模型（32k 上下文窗口）：
    ollama run gemma3:1b

    多模态模型（视觉）：

    • 4B 参数模型（128k 上下文窗口）：
    ollama run gemma3:4b
    • 12B 参数模型（128k 上下文窗口）：
    ollama run gemma3:12b
    • 27B 参数模型（128k 上下文窗口）：
    ollama run gemma3:27b
    • 运行上述命令之一将自动下载并启动相应的 Gemma3 模型。

    3. 安装 Open WebUI

    Open WebUI 提供了一个用户友好的 Web 界面，用于与 Ollama 运行的模型进行交互。

    使用 Conda 安装：

    1.创建 Conda 环境：

    conda create -n open-webui python=3.11
    1. 激活环境：
    conda activate open-webui
    1. 安装 Open WebUI：
    pip install open-webui
    1. 启动服务器：
    open-webui serve

    更新 Open WebUI：

    • 要将 Open WebUI 更新到最新版本，请运行：
    pip install -U open-webui

    4. 配置并启动 Open WebUI 以连接 Ollama

    访问 Open WebUI：

    • 安装完成后，在 Web 浏览器中访问以下地址：
    • http://localhost:8080/

    配置 Ollama 连接：

    • Open WebUI 应该会自动检测到本地运行的 Ollama 实例。
    • 如果需要手动配置，请在 Open WebUI 的设置中查找 Ollama 连接选项。
    • 确保 Open WebUI 已正确配置为使用您已安装的 Gemma3 模型。

    开始使用：

    • 现在，您可以使用 Open WebUI 的界面与 Gemma3 模型进行交互。您可以输入文本提示，并根据所选模型（文本或多模态）获得相应的响应。