预计阅读时间: 3 分钟
安装要求
- 操作系统:Linux(Ubuntu 24.04)
- Python:3.12
- GPU 支持:NVIDIA A100、RTX 系列(需安装 NVIDIA 驱动和 CUDA)
一、安装 Miniconda
- 下载并安装 Miniconda:
mkdir -p ~/miniconda3
wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh -O ~/miniconda3/miniconda.sh
bash ~/miniconda3/miniconda.sh -b -u -p ~/miniconda3
rm ~/miniconda3/miniconda.sh
- 初始化 shell 环境
source ~/miniconda3/bin/activate
- 初始化 Conda 到所有可用 shell:
conda init --all
二、创建 Python 虚拟环境并安装 vLLM
- 创建基于 Python 3.12 的虚拟环境:
conda create -n vllm python=3.12 -y
- 激活环境:
conda activate vllm
- 使用 pip 安装 vLLM:
pip install vllm
三、安装gemma-3-27b-it-qat
- 加载并运行模型
vllm serve "google/gemma-3-27b-it-qat-q4_0-gguf"
- 浏览器访问API
http://localhost:8000
发表回复