vllm容器化部署大模型

增加nvidia运行时

1. 安装NVIDIA容器工具包

确保已正确安装NVIDIA Container Toolkit：

# 添加NVIDIA仓库（以Ubuntu为例）
distribution=$(. /etc/os-release;echo $ID$VERSION_ID) \
    && curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | sudo apt-key add - \
    && curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.list | sudo tee /etc/apt/sources.list.d/nvidia-docker.list
# 安装工具包
sudo apt-get update
sudo apt-get install -y nvidia-container-toolkit

2. 配置Docker守护进程

检查Docker配置文件 /etc/docker/daemon.json，确保包含以下内容：

{
    "runtimes": {
        "nvidia": {
            "path": "nvidia-container-runtime",
            "runtimeArgs": []
        }
    }
}

3. 重启Docker服务

修改配置后重启Docker：

sudo systemctl restart docker

4. 验证NVIDIA运行时

检查Docker是否识别到nvidia运行时：

docker info | grep -i runtime
#输出包含nvidia即可 如
Runtimes: nvidia runc

部署 大概要40G

docker  run --runtime nvidia --gpus all \
    -v ~/.cache/huggingface:/root/.cache/huggingface \
    --env "HUGGING_FACE_HUB_TOKEN=hf_CItk******" \
    --env "VLLM_USE_MODELSCOPE=True" \
    -p 8001:8000 \
    --ipc=host \
    docker-0.unsee.tech/vllm/vllm-openai:latest \
    --model Qwen/Qwen2.5-VL-72B-Instruct