Установка LangChain-приложения на свой сервер

Что ставят на сервер, когда говорят про LangChain#

LangChain это библиотека с открытым кодом (MIT) для приложений на языковых моделях: единый интерфейс к моделям разных провайдеров, инструменты, поиск по документам и готовые агенты. Вокруг неё выросла экосистема: LangGraph для сложной оркестрации агентов, Deep Agents для агентов с планированием и подагентами, LangSmith для трассировки и деплоя.

Docker Compose для LangChain-приложения с Ollama#

1. Соберите образ приложения на python:3.12-slim: зависимости из pyproject.toml, команда запуска uvicorn.
2. Добавьте Ollama отдельным сервисом с томом для моделей.
3. Скачайте модель командой docker compose exec ollama ollama pull имя-модели.
4. В коде обращайтесь к Ollama по имени сервиса: ChatOllama(model=..., base_url="http://ollama:11434").

services:
  app:
    build: .
    env_file: .env
    ports:
      - "127.0.0.1:8000:8000"
    depends_on:
      - ollama
  ollama:
    image: ollama/ollama
    volumes:
      - ollama:/root/.ollama
volumes:
  ollama:

Порт Ollama 11434 здесь не публикуется вовсе: приложение видит её по внутренней сети Docker, а снаружи модель недоступна. Подробно о самой Ollama и размерах моделей: Ollama на сервере.

Вопросы об установке LangChain#

Что посмотреть дальше