标签： vllm

安装要求

• 操作系统：Linux（Ubuntu 24.04）
• Python：3.12
• GPU 支持：NVIDIA A100、RTX 系列（需安装 NVIDIA 驱动和 CUDA）

一、安装 Miniconda

1. 下载并安装 Miniconda：

mkdir -p ~/miniconda3
wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh -O ~/miniconda3/miniconda.sh
bash ~/miniconda3/miniconda.sh -b -u -p ~/miniconda3
rm ~/miniconda3/miniconda.sh

2. 初始化 shell 环境

source ~/miniconda3/bin/activate

3. 初始化 Conda 到所有可用 shell：

conda init --all

二、创建 Python 虚拟环境并安装 vLLM

1. 创建基于 Python 3.12 的虚拟环境：

conda create -n vllm python=3.12 -y

2. 激活环境：

conda activate vllm

3. 使用 pip 安装 vLLM：

pip install vllm

三、安装gemma-3-27b-it-qat

1. 加载并运行模型

vllm serve "google/gemma-3-27b-it-qat-q4_0-gguf"

2. 浏览器访问API

http://localhost:8000