Сервер под LLM: память, карты и движок
Сервер под LLM подбирают по видеопамяти: она должна вместить веса модели и кэш контекста всех одновременных запросов. Модель на 8-9 млрд параметров в сжатии Q4 живёт на карте 10-16 ГБ, 70B просит 48-80 ГБ, а MoE-модели на сотни миллиардов параметров требуют нескольких серверных карт.
Ответ за 30 секунд
Считайте память так: веса в Q4 примерно 0,6 ГБ на миллиард параметров плюс кэш контекста. Под одного пользователя ставьте Ollama, под поток запросов vLLM, и берите карту с запасом под контекст, а не впритык к размеру файла.
Карты от RTX 3080 до H200, от 1 до 4 на сервер; облачный сервер запускается за 1-2 минуты, оплата почасовая.
Как посчитать память сервера под LLM10-141 ГБвидеопамять карт у провайдера
1-4карты на один сервер
1-2 минзапуск облачного GPU-сервера
Инструмент · 1 мин
Как посчитать память сервера под LLM#
Память складывается из трёх частей. Веса: в FP16 по 2 байта на параметр, в Q8 около одного, в Q4 около 0,6. Кэш контекста (KV-кэш): растёт с длиной окна и с числом запросов, которые сервер обрабатывает одновременно. И около полугигабайта на сам движок.
Пример: Llama 3.3 70B в FP16 весит около 140 ГБ, а в Q4 файл Ollama занимает 43 ГБ. У MoE-моделей память считают по полному числу параметров, даже если на токен работает малая часть. Почему без карты большие модели отвечают слишком медленно, разобрано в разделе сервер под ИИ.
Сколько видеопамяти нужно серверу под LLM
Выберите класс модели, сжатие и контекст: расчёт подскажет карту и число карт
02 · 1 мин
Какие видеокарты подходят под LLM: таблица по памяти#
| Видеопамять | Карты у Таймвеб Клауд | Что помещается в Q4 |
|---|---|---|
| 10-16 ГБ | RTX 3080, Tesla T4, A4000 | Модели 8-14 млрд, короткий контекст |
| 24 ГБ | RTX 3090, RTX 4090, A5000, L4 | Qwen3.8 27B, Gemma 4 31B |
| 48 ГБ | A6000 | 70B с небольшим контекстом |
| 80 ГБ | A100, H100 | 70B с запасом, MoE на 100-120 млрд |
| 141 ГБ | H200 | Крупные MoE, несколько моделей сразу |
На сервер ставят от 1 до 4 карт, и движок делит модель между ними. A100, H100, H200 и L4 на 14 октября 2026 доступны по предзаказу. Цены карт Таймвеб Клауд не публикует: стоимость по запросу, минимальный аванс от 5 000 ₽, списания почасовые. Подробно о каждой карте: аренда видеокарты.
03 · 1 мин
Какой движок ставить на сервер под LLM#
Чем больше одновременных пользователей, тем больше кэша контекста держит движок, поэтому для сервиса на десятки человек память закладывают сверх размера весов.
- Ollama: модель одной командой, OpenAI-совместимый API, удобно для одного человека или небольшой команды.
- vLLM: пакетная обработка, когда запросов много одновременно, деление модели между картами флагом
--tensor-parallel-size, ключ API из коробки. - llama.cpp: файлы GGUF, работа на процессоре и гибрид, когда модель чуть больше видеопамяти.
04 · 1 мин
Как развернуть LLM на сервере по шагам#
- Выберите модель и сжатие под задачу и посчитайте память калькулятором выше.
- Создайте сервер с картой на Ubuntu, поставьте драйвер NVIDIA и NVIDIA Container Toolkit.
- Запустите движок в Docker: образ
ollama/ollamaилиvllm/vllm-openaiс томом для весов. - Закройте порт API от интернета, задайте ключ и выведите доступ через прокси с HTTPS.
- Проверьте нагрузку: сколько запросов в секунду выдерживает карта при вашем контексте.
Если своя модель нужна только для экспериментов, дешевле взять API. AI Gateway Таймвеб Клауд даёт OpenAI-совместимый доступ к современным моделям с оплатой в рублях, и приложение потом переключается на свой сервер сменой адреса.
05 · 1 мин
Дообучение LLM на своём сервере: когда оно нужно#
Чтобы модель отвечала по вашим документам, дообучение обычно не нужно: хватает RAG, где документы подставляются в запрос. Дообучают, когда надо закрепить стиль, формат ответа или узкую терминологию.
Метод LoRA обучает небольшие матрицы-адаптеры поверх замороженной модели, QLoRA делает то же поверх сжатой версии. Памяти всё равно уходит больше, чем на простой запуск: кроме весов нужны активации и состояния оптимизатора. Для таких задач удобна почасовая оплата: сервер с картой арендуют на время обучения и удаляют, а готовый адаптер запускают на меньшей конфигурации.
06 · 1 мин
Вопросы о сервере под LLM#
Сколько оперативной памяти нужно для LLM без видеокарты?
Размер файла модели плюс кэш контекста и 2 ГБ на систему: для 8-9 млрд в Q4 это 8-12 ГБ. Работать будет медленно, такой сервер подходит для проверки, а не для потока клиентов.
Можно ли разделить одну LLM между несколькими видеокартами?
Да. vLLM делит модель флагом --tensor-parallel-size, llama.cpp и Ollama раскладывают слои по картам сами. Карты лучше брать одинаковые и в одном сервере.
Что выгоднее для LLM: свой GPU-сервер или API?
При редких запросах API дешевле: платите только за токены. Свой сервер окупается при постоянной нагрузке или когда данные нельзя отправлять внешнему провайдеру.
Почему этому можно верить
Как мы проверяли
Источники цифр на этой странице: VPS и VDS серверы Таймвеб Клауд, timeweb.cloud/services/vds-vps, проверено 14 октября 2026; AI Gateway Таймвеб Клауд, timeweb.cloud/services/ai-gateway, проверено 14 октября 2026; Серверы с GPU Таймвеб Клауд, timeweb.cloud/services/gpu, проверено 14 октября 2026; Каталог моделей Ollama: размеры файлов и контекст, ollama.com/library, проверено 14 октября 2026; Модельная карточка DeepSeek-V4-Pro: параметры серии V4, контекст, лицензия MIT, huggingface.co/deepseek-ai/DeepSeek-V4-Pro, проверено 14 октября 2026; Документация vLLM: параметры движка, docs.vllm.ai/en/latest/configuration/engine_args, проверено 14 октября 2026.
Возьмите сервер с видеокартой под модель
Облачный GPU-сервер запускается за 1-2 минуты, оплата почасовая.
- RTX 4090, A5000, A6000, A100, H100
- От 1 до 4 карт на сервер
- Почасовая оплата
- Дата-центры уровня Tier III