启鑫的黑板报

标签： Gemma

  • Ubuntu 24.04 安装 vLLM

    安装要求

    • 操作系统：Linux（Ubuntu 24.04）
    • Python：3.12
    • GPU 支持：NVIDIA A100、RTX 系列（需安装 NVIDIA 驱动和 CUDA）

    一、安装 Miniconda

    1. 下载并安装 Miniconda：
    mkdir -p ~/miniconda3
wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh -O ~/miniconda3/miniconda.sh
bash ~/miniconda3/miniconda.sh -b -u -p ~/miniconda3
rm ~/miniconda3/miniconda.sh
    1. 初始化 shell 环境
    source ~/miniconda3/bin/activate
    1. 初始化 Conda 到所有可用 shell：
    conda init --all

    二、创建 Python 虚拟环境并安装 vLLM

    1. 创建基于 Python 3.12 的虚拟环境：
    conda create -n vllm python=3.12 -y
    1. 激活环境：
    conda activate vllm
    1. 使用 pip 安装 vLLM：
    pip install vllm

    三、安装gemma-3-27b-it-qat

    1. 加载并运行模型
    vllm serve "google/gemma-3-27b-it-qat-q4_0-gguf"
    1. 浏览器访问API
    http://localhost:8000

  • 本地部署Gemma3，Ollama与Open WebUI部署教程详解

    Ollama部署Gemma3 模型并使用 Open WebUI 进行 Web 访问

    1. 安装 Ollama

    Ollama 是一个用于运行大型语言模型的工具。

    支持的操作系统

    • Windows
    • Linux
    • macOS

    下载和安装：

    2. 安装 Gemma3 模型

    Ollama 安装完成后，您可以使用以下命令下载并运行 Gemma3 模型。

    文本模型：

    • 1B 参数模型（32k 上下文窗口）：
    ollama run gemma3:1b

    多模态模型（视觉）：

    • 4B 参数模型（128k 上下文窗口）：
    ollama run gemma3:4b
    • 12B 参数模型（128k 上下文窗口）：
    ollama run gemma3:12b
    • 27B 参数模型（128k 上下文窗口）：
    ollama run gemma3:27b
    • 运行上述命令之一将自动下载并启动相应的 Gemma3 模型。

    3. 安装 Open WebUI

    Open WebUI 提供了一个用户友好的 Web 界面，用于与 Ollama 运行的模型进行交互。

    使用 Conda 安装：

    1.创建 Conda 环境：

    conda create -n open-webui python=3.11
    1. 激活环境：
    conda activate open-webui
    1. 安装 Open WebUI：
    pip install open-webui
    1. 启动服务器：
    open-webui serve

    更新 Open WebUI：

    • 要将 Open WebUI 更新到最新版本，请运行：
    pip install -U open-webui

    4. 配置并启动 Open WebUI 以连接 Ollama

    访问 Open WebUI：

    • 安装完成后，在 Web 浏览器中访问以下地址：
    • http://localhost:8080/

    配置 Ollama 连接：

    • Open WebUI 应该会自动检测到本地运行的 Ollama 实例。
    • 如果需要手动配置，请在 Open WebUI 的设置中查找 Ollama 连接选项。
    • 确保 Open WebUI 已正确配置为使用您已安装的 Gemma3 模型。

    开始使用：

    • 现在，您可以使用 Open WebUI 的界面与 Gemma3 模型进行交互。您可以输入文本提示，并根据所选模型（文本或多模态）获得相应的响应。