Главная/ИИ/llama.cpp

Установка llama.cpp на сервер и компьютер

Установка llama.cpp занимает одну команду: скрипт с llama.app, winget, brew или Docker-образ ghcr.io/ggml-org/llama.cpp:server. Движок запускает модели в формате GGUF на процессоре, видеокарте или на обоих сразу, а встроенный llama-server отдаёт OpenAI-совместимый API и веб-чат.

3 мин чтенияДанные проверены 16 октября 2026

Ответ за 30 секунд

llama.cpp ставят, когда нужен сервер без видеокарты или точный контроль над сжатием и памятью. Для модели до 4 млрд параметров хватит VPS на 4-8 ГБ; сервер открывайте наружу только с --api-key.

Модели до 4 млрд параметров работают на процессоре без карты, сервер оплачивается почасово.

Сколько ресурсов нужно llama.cpp на VPS

01 · 1 мин

llama.cpp: что это и когда его ставят вместо Ollama#

llama.cpp это движок на C и C++ без внешних зависимостей. Он умеет сжимать веса до 1,5-8 бит, использует инструкции AVX2, AVX-512 и AMX на x86, Metal на Apple Silicon, CUDA на NVIDIA, HIP на AMD, а также Vulkan и SYCL. Если модель больше видеопамяти, часть слоёв остаётся на процессоре, и она всё равно запускается.

ЗадачаЧто взять
Поставить и забыть, модели по имениOllama
Конкретный файл GGUF, свои флаги памяти и сжатияllama.cpp
Программа с окнами на ПКLM Studio (внутри тоже llama.cpp)
Много одновременных запросов на GPUvLLM

02 · 1 мин

Установка llama.cpp на Linux, Windows и macOS#

Новые версии понимают короткие команды: llama cli -hf ggml-org/Qwen3.5-0.8B-GGUF скачивает модель с Hugging Face и открывает чат, llama serve -hf ggml-org/Qwen3.5-0.8B-GGUF поднимает API со встроенным веб-интерфейсом. Флаг -hf берёт файл прямо из репозитория, без ручного скачивания.

  • Linux и macOS: curl -LsSf https://llama.app/install.sh | sh или brew install llama.cpp.
  • Windows: winget install llama.cpp или скрипт PowerShell irm https://llama.app/install.ps1 | iex.
  • Готовые архивы лежат на странице релизов GitHub, сборка из исходников описана в docs/build.md.

03 · 1 мин

llama.cpp в Docker: образы server и server-cuda#

Проект публикует образы в ghcr.io: :server только с llama-server для процессора, :server-cuda и :server-cuda13 для NVIDIA, :server-rocm для AMD, плюс варианты full и light. Сборки есть для amd64 и arm64. Модели монтируются папкой:

# процессор
docker run -p 127.0.0.1:8080:8080 -v /srv/models:/models \
  ghcr.io/ggml-org/llama.cpp:server \
  -m /models/qwen3.5-4b-q4_k_m.gguf -c 8192 --host 0.0.0.0 --port 8080

# видеокарта NVIDIA
docker run --gpus all -p 127.0.0.1:8080:8080 -v /srv/models:/models \
  ghcr.io/ggml-org/llama.cpp:server-cuda \
  -m /models/qwen3.5-9b-q4_k_m.gguf -ngl all --host 0.0.0.0 --port 8080

Для docker compose это сервис с тем же образом, томом /models, портом и аргументами в command. Внутри контейнера адрес 0.0.0.0 обязателен, иначе сервер не примет соединения; наружу порт ограничен привязкой к 127.0.0.1.

04 · 1 мин

Настройка llama-server: адрес, ключ и видеокарта#

Без флагов llama-server слушает 127.0.0.1:9931, то есть доступен только с самого сервера. Главные параметры:

  • --host и --port: адрес и порт, например --host 0.0.0.0 --port 8080.
  • --api-key: ключ для запросов, можно несколько через запятую; без него API открыт всем, кто достучится до порта.
  • -ngl: сколько слоёв держать в видеопамяти, число, auto (по умолчанию) или all.
  • -c: размер контекста; 0 значит взять из модели, а это может съесть всю память.

Для доступа из интернета поставьте впереди Caddy с HTTPS, а приложения подключайте к адресу /v1 как к OpenAI.

Инструмент · 1 мин

Сколько ресурсов нужно llama.cpp на VPS#

На процессоре память считается просто: размер файла GGUF плюс кэш контекста и запас на систему. Файл Qwen3.5 4B в Q4 весит около 3,3 ГБ, 9B около 6,6 ГБ. Почему для крупных моделей всё же нужна видеокарта, объясняет раздел сервер под ИИ.

Какой VPS взять под llama.cpp без видеокарты

Выберите размер модели, нагрузку и контекст: калькулятор подберёт конфигурацию

Размер модели GGUF (Q4)
Сколько запросов одновременно
Длина контекста

06 · 1 мин

Вопросы об установке llama.cpp#

Какой образ llama.cpp брать для Docker с CUDA?

ghcr.io/ggml-org/llama.cpp:server-cuda (CUDA 12) или :server-cuda13. На хосте нужны драйвер NVIDIA и NVIDIA Container Toolkit, а в команде флаг --gpus all.

Можно ли запустить в llama.cpp модель больше видеопамяти?

Да. Флаг -ngl задаёт, сколько слоёв уйдёт на карту, остальные посчитает процессор. Работает медленнее, чем целиком на GPU, но быстрее, чем только на процессоре.

Чем llama.cpp отличается от Ollama?

Ollama сама скачивает модели по имени и держит службу, llama.cpp запускает конкретный файл GGUF с флагами, которые вы задаёте. Ollama удобнее, llama.cpp гибче.

Почему этому можно верить

Как мы проверяли

Требования из документацииРесурсы, порты и команды сверены с официальной документацией, дата проверки указана.
Всё можно повторитьКоманды и расчёты описаны так, что их повторит любой читатель.
Независимый справочникНе связан с разработчиками приложений и провайдерами и пишет о минусах тоже.

Источники цифр на этой странице: VPS и VDS серверы Таймвеб Клауд, timeweb.cloud/services/vds-vps, проверено 14 октября 2026; AI Gateway Таймвеб Клауд, timeweb.cloud/services/ai-gateway, проверено 14 октября 2026; Маркетплейс приложений Таймвеб Клауд, timeweb.cloud/marketplace, проверено 14 октября 2026; llama.cpp на GitHub: README, способы установки, лицензия MIT, github.com/ggml-org/llama.cpp, проверено 14 октября 2026; llama.cpp: установка готовых сборок (winget, brew, nix), github.com/ggml-org/llama.cpp/blob/master/docs/install.md, проверено 14 октября 2026; llama.cpp: образы Docker, github.com/ggml-org/llama.cpp/blob/master/docs/docker.md, проверено 14 октября 2026; llama.cpp: параметры llama-server, github.com/ggml-org/llama.cpp/blob/master/tools/server/README.md, проверено 14 октября 2026.

SBРедакция SelfBase · обновлено 16 октября 2026

Запустите свой сервер за пару минут

Почасовая оплата: тестовый стенд на сутки стоит десятки рублей, а не месячный тариф.

  • NVMe-диски и гарантированная доля процессора
  • Root-доступ и любой софт, от Docker до игровых серверов
  • Маркетплейс: 91 приложение в один клик
  • Бесплатный перенос проекта силами специалистов
Ресурсы

Что посмотреть дальше

OllamaМодели по имени LM StudioПрограмма для ПК vLLMПоток запросов на GPU QwenМодели в GGUF