Установка vLLM на сервер с видеокартой
Установка vLLM делается одной командой uv pip install vllm или запуском Docker-образа vllm/vllm-openai, после чего модель отвечает по OpenAI-совместимому API на порту 8000. vLLM нужен там, где запросов много: он объединяет их в пакеты и выжимает из видеокарты больше ответов, чем движки для одного пользователя.
Ответ за 30 секунд
vLLM ставят на Linux с картой NVIDIA от T4 и RTX 20xx. Проще всего запустить его в Docker, сразу задать --api-key и ограничить контекст под память карты, иначе движок не стартует.
Карты от T4 до H200, на сервер ставят от 1 до 4 штук: этого хватает, чтобы делить модель между картами.
Чем vLLM отличается от Ollama и llama.cpp8000порт API vLLM
7.5+compute capability карты NVIDIA
0,92доля видеопамяти по умолчанию
Инструмент · 1 мин
Чем vLLM отличается от Ollama и llama.cpp#
Все три движка запускают открытые модели и отдают OpenAI-совместимый API. Разница в том, на кого они рассчитаны.
| vLLM | Ollama | llama.cpp | |
|---|---|---|---|
| Формат моделей | Веса Hugging Face, FP8, AWQ | Свой каталог, импорт GGUF | GGUF |
| Железо | GPU NVIDIA, AMD, Intel | CPU и GPU | CPU, GPU, гибрид |
| Сильная сторона | Много запросов одновременно | Простая установка | Минимум зависимостей |
| Порт по умолчанию | 8000 | 11434 | 9931 |
| Лицензия | Apache 2.0 | MIT | MIT |
Если модель отвечает одному человеку, выигрыш vLLM почти не виден. Подробнее о соседях: Ollama и llama.cpp.
Нужен ли вам vLLM
Три ответа: подскажем, подходит ли vLLM или проще взять другой движок
02 · 1 мин
Требования vLLM: Linux, Python и видеокарта#
У Таймвеб Клауд в списке есть и карты GTX 1080 и 1080 Ti: для vLLM они не подходят по поколению, под него берите T4, RTX 3090, 4090 или серверные A-серии. Какая карта под какой размер модели: аренда видеокарты.
- Система: Linux. На Windows vLLM нативно не работает, документация предлагает WSL или сторонние сборки.
- Python: версии 3.11-3.14.
- Карта NVIDIA: compute capability 7.5 и выше, это T4, RTX 20xx и новее, A100, L4, H100. Есть сборки для AMD Instinct, Intel и Apple Silicon.
- Память карты: веса модели плюс кэш контекста; vLLM по умолчанию резервирует 92% видеопамяти под веса и кэш.
03 · 1 мин
Установка vLLM через uv и первый запуск#
- Создайте окружение:
uv venv --python 3.12 --seedиsource .venv/bin/activate. - Поставьте vLLM:
uv pip install vllm --torch-backend=auto. Флаг сам подберёт сборку PyTorch под версию CUDA на сервере. - Запустите модель:
vllm serve Qwen/Qwen3.5-9B --api-key ваш-ключ. Первый старт скачает веса в кэш Hugging Face. - Проверьте ответ:
curl -H "Authorization: Bearer ваш-ключ" http://localhost:8000/v1/models.
04 · 1 мин
vLLM в Docker и docker compose#
Официальный образ vllm/vllm-openai уже содержит CUDA и сервер API. Кэш Hugging Face подключают томом, чтобы веса не качались заново при каждом пересоздании.
docker run --runtime nvidia --gpus all \
-v ~/.cache/huggingface:/root/.cache/huggingface \
--env "HF_TOKEN=$HF_TOKEN" \
-p 8000:8000 --ipc=host \
vllm/vllm-openai:latest \
--model Qwen/Qwen3.5-9B --api-key ваш-ключФлаг --ipc=host (или --shm-size) нужен для общей памяти между процессами движка. В compose всё это переносится один к одному: образ, том, порт, ipc: host, блок резервирования GPU и аргументы после образа в поле command. HF_TOKEN нужен для закрытых репозиториев вроде meta-llama.
05 · 1 мин
Настройка vLLM: ключ, память карты и несколько моделей#
Один процесс vLLM обслуживает одну модель. Чтобы держать на сервере две модели, запускают два процесса на разных портах и делят между ними память флагом --gpu-memory-utilization, например по 0.45.
--max-model-lenограничивает контекст; без него берётся максимум из конфигурации модели, и на одной карте кэш может не поместиться.--tensor-parallel-size 2делит модель между двумя картами одного сервера.--api-keyили переменнаяVLLM_API_KEYвключает проверку ключа; можно передать несколько ключей для плавной смены.
GGUF в vLLM пока сырой
Документация называет поддержку GGUF экспериментальной и неоптимизированной. Для файлов GGUF проще путь через llama.cpp, а в vLLM берите оригинальные веса или FP8.
06 · 1 мин
Вопросы об установке vLLM#
Можно ли установить vLLM на Windows?
Нативно нет. Работает через WSL с дистрибутивом Linux или через сторонние сборки, которые проект vLLM не поддерживает. Для Windows без WSL проще Ollama или LM Studio.
Как запустить в vLLM несколько моделей сразу?
Каждая модель получает свой процесс или контейнер на своём порту, а память карты делят флагом --gpu-memory-utilization. Перед ними ставят прокси, который раздаёт запросы по имени модели.
Как закрыть vLLM паролем?
Запустить с --api-key или задать VLLM_API_KEY: запросы без заголовка Authorization получат отказ. Порт 8000 всё равно не публикуйте наружу без HTTPS.
Почему этому можно верить
Как мы проверяли
Источники цифр на этой странице: VPS и VDS серверы Таймвеб Клауд, timeweb.cloud/services/vds-vps, проверено 14 октября 2026; AI Gateway Таймвеб Клауд, timeweb.cloud/services/ai-gateway, проверено 14 октября 2026; Серверы с GPU Таймвеб Клауд, timeweb.cloud/services/gpu, проверено 14 октября 2026; Документация vLLM: установка на GPU, требования, docs.vllm.ai/en/latest/getting_started/installation/gpu, проверено 14 октября 2026; Документация vLLM: запуск в Docker, docs.vllm.ai/en/latest/deployment/docker, проверено 14 октября 2026; Документация vLLM: быстрый старт и OpenAI-совместимый сервер, docs.vllm.ai/en/latest/getting_started/quickstart, проверено 14 октября 2026; Документация vLLM: параметры движка, docs.vllm.ai/en/latest/configuration/engine_args, проверено 14 октября 2026; Документация vLLM: GGUF, docs.vllm.ai/en/latest/features/quantization/gguf, проверено 14 октября 2026; vLLM на GitHub: лицензия Apache 2.0, github.com/vllm-project/vllm, проверено 14 октября 2026; llama.cpp: параметры llama-server, github.com/ggml-org/llama.cpp/blob/master/tools/server/README.md, проверено 14 октября 2026.
Возьмите сервер с видеокартой под модель
Облачный GPU-сервер запускается за 1-2 минуты, оплата почасовая.
- RTX 4090, A5000, A6000, A100, H100
- От 1 до 4 карт на сервер
- Почасовая оплата
- Дата-центры уровня Tier III