1. VLLM 简介

https://github.com/vllm-project/vllm

• 定义：VLLM（Very Large Language Model）是一款高性能、内存高效的推理与服务引擎，专为大规模语言模型（LLMs）设计。
• 特点：
  • 高吞吐量
  • 内存效率高
  • 支持动态批处理
  • 兼容 Hugging Face Transformers 模型

2. 安装 VLLM

2.1 创建 Conda 环境

conda create -n vllm python=3.12
conda activate vllm

2.2 安装 VLLM

使用官方安装安装：https://github.com/vllm-project/vllm

pip install vllm

使用清华镜像源加速安装：

pip install vllm -i https://pypi.tuna.tsinghua.edu.cn/simple

2.3 检查安装

pip show vllm

• 成功安装后会显示 VLLM 的版本及详细信息。

3. 支持的框架和模型

3.1 支持的框架

• Hugging Face Transformers：主要支持的框架。
• PyTorch：基于 PyTorch 实现。

3.2 支持的模型

• Decoder-only 模型：例如 GPT、Llama、Qwen 等。
• Encoder-decoder 模型：例如 T5、BART 等。
• 多模态模型：例如 LLaVA 等。

4. 常用命令

4.1 启动 VLLM 服务

vllm serve /path/to/your/model

• 示例：

  vllm serve /home/ctq/Huggingface/Qwen2.5-1.5B-Instruct

  Copy
• 个人常用命令：

  vllm serve /home/ctq/Huggingface/DeepSeek-R1-Distill-Qwen-1.5B --port 8188 --host 0.0.0.0

  Copy

4.2 测试模型推理

使用 curl 测试：

curl -X POST http://localhost:8000/generate \
     -H "Content-Type: application/json" \
     -d '{"prompt": "Hello, how are you?", "max_tokens": 50}'

使用 Python 脚本测试：

import requests

response = requests.post(
    "http://localhost:8000/generate",
    json={"prompt": "Hello, how are you?", "max_tokens": 50}
)
print(response.json())

4.3 停止 VLLM 服务

• 在终端中按 Ctrl + C 即可停止服务。

5. 检查依赖和插件

5.1 检查 PyTorch 和 Transformers

pip list | grep -E "torch|transformers"

5.2 安装缺失的依赖

pip install torch transformers

6. 验证 GPU 支持

python -c "import torch; print(torch.cuda.is_available())"

• 若输出 True，则表示 GPU 可用。

7. 常见问题排查

7.1 安装失败

• 检查网络连接。
• 尝试更新 pip：

  pip install --upgrade pip

  Copy

7.2 GPU 不可用

• 检查 CUDA 版本是否与 PyTorch 兼容。
• 重新安装 PyTorch 和 CUDA：

  pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

  Copy

8. 参考文档

• VLLM 官方文档
• Hugging Face 模型仓库
• VLLM GitHub 仓库

9. 示例：完整流程

9.1 创建环境并安装 VLLM

conda create -n vllm python=3.12
conda activate vllm
pip install vllm -i https://pypi.tuna.tsinghua.edu.cn/simple

9.2 启动 VLLM 服务

vllm serve /home/ctq/Huggingface/Qwen2.5-1.5B-Instruct

9.3 测试推理

curl -X POST http://localhost:8000/generate \
     -H "Content-Type: application/json" \
     -d '{"prompt": "Hello, how are you?", "max_tokens": 50}'