Ollama vs vLLM: что выбрать для ноутбука и GPU-сервера

Ollama vs vLLM: что выбрать под свою нагрузку?

Оставайтесь на Ollama, если модель работает на ноутбуке, служит личным помощником или обслуживает небольшой внутренний сервис и уже отвечает достаточно быстро. Выбирайте vLLM для общего GPU-сервиса с постоянным потоком одновременных запросов или когда нужен явный контроль над распределённым инференсом. Сам по себе перенос на сервер ещё не повод менять движок.

Ollama объединяет скачивание моделей, настройку и обслуживание запросов в простой рабочий процесс. vLLM — движок инференса, в основе которого лежат планирование множества запросов и управление памятью, необходимой для их обработки. Ни один из них не является самой моделью: при переносе приложения меняется способ её запуска и работы.

Выбор определяют четыре фактора: пиковое число одновременных запросов, доступная память GPU, конкретные файлы модели и время ответа, которое вы обещаете пользователям. Число зарегистрированных пользователей мало о чём говорит. Небольшая команда разработчиков с агентами может создавать больше одновременной работы, чем гораздо более многочисленная группа, которая лишь изредка задаёт вопросы.

Стоимость ПО и документация проверены 12 октября 2026 года. Сравнение основано на документации и расчётных примерах затрат; тесты скорости инференса для этой статьи не проводились. На действующей странице тарифов Ollama указано бесплатное локальное использование, а лицензия проекта vLLM разрешает пользоваться ПО без оплаты. Тарифы Ollama, лицензия vLLM.

Возможности в таблице описаны по официальной документации Ollama о параллельных запросах, обзору возможностей vLLM и руководству по масштабированию vLLM. Победители выбраны по редакционной оценке этих возможностей, а не по результатам замеров скорости.

Как выбрать по числу пользователей, GPU и размеру модели

Сценарии ниже помогают решить, что проверять первым, но не гарантируют указанную ёмкость сервиса. Под «пользователями» здесь понимаются люди или агенты, чьи запросы пересекаются во времени; диапазоны приведены для примера планирования. У модели 8B примерно восемь миллиардов параметров — хранимых числовых значений, которые её определяют.

Одного размера модели недостаточно, чтобы выбрать GPU для покупки. В идеализированном расчёте только веса плотной модели 8B при 4 битах на вес занимают не менее 4 GB; для модели 70B этот минимум составляет 35 GB. Формула: число параметров × число бит ÷ 8, в десятичных единицах объёма данных. Сверху добавляются метаданные квантования, тензоры повышенной точности, среда исполнения и память диалогов. Ни одно из этих чисел не является рекомендацией по объёму VRAM.

Поэтому «модель загрузилась» — слабый критерий готовности. Веса могут поместиться, а для открытых пользовательских диалогов места уже не останется. Сначала выберите чекпойнт с помощью руководства по локальным моделям для программирования, затем оцените ресурсы для обслуживания запросов.

Установка и оборудование: для первой машины удобнее Ollama

Если задача — запустить полезную модель на уже имеющемся оборудовании, преимущество у Ollama. Готовые приложения для компьютера и работа через командную строку сокращают число решений, которые нужно принять при развёртывании. Для Linux в документации указан такой способ установки:

curl -fsSL https://ollama.com/install.sh | sh
ollama run llama3.2

Если сервер ещё не запущен, используйте ollama serve. В руководстве для Linux также описан запуск через системную службу. Для обработки чужих запросов постоянная служба удобнее открытого терминала.

Ollama поддерживает ускорение на GPU Apple через Metal, отдельные устройства AMD через ROCm, GPU NVIDIA, а также дополнительные устройства под Windows/Linux через Vulkan. На странице поддержки NVIDIA сейчас указана compute capability 5.0 или выше; требования к драйверам для старых карт различаются. Сверьте конкретную видеокарту и операционную систему со списком оборудования Ollama.

vLLM выигрывает, когда установка — первый шаг к управляемой серверной среде. Актуальное краткое руководство для NVIDIA использует изолированное окружение Python. Если uv уже установлен, а драйвер GPU совместим, документация предлагает такую последовательность:

uv venv --python 3.12 --seed
source .venv/bin/activate
uv pip install vllm --torch-backend=auto

Команды взяты из документации; при подготовке этого сравнения их не выполняли. Для AMD и Intel предусмотрены другие инструкции по установке бэкендов. Быстрый старт vLLM.

Вариант установки vLLM для NVIDIA требует Linux и compute capability 7.5 или выше. Нативная Windows в этом варианте не поддерживается; пользователям Windows документация предлагает WSL. Выбор оборудования не ограничивается NVIDIA: общий раздел установки также охватывает AMD ROCm, Intel XPU, запуск на CPU и Apple Silicon через поддерживаемый сообществом плагин vLLM-Metal. Требования к GPU, раздел установки.

Вариант для Apple использует MLX и модели, оптимизированные под MLX. Его нужно проверять как отдельный бэкенд: поведение сервера на CUDA нельзя автоматически переносить на него. Если основная рабочая машина — Mac, проще начать с Ollama. А если выбираете прежде всего среду для работы на компьютере, пригодится отдельное сравнение Ollama и LM Studio.

Производительность vLLM и Ollama: решает одновременная нагрузка

При постоянной одновременной нагрузке vLLM — более обоснованный выбор по умолчанию: его документированные механизмы планирования рассчитаны именно на неё. Пропускная способность — это общий объём выполненной работы за единицу времени. Она не равна скорости появления одного отдельно взятого ответа.

Среди возможностей vLLM — непрерывное пакетирование, при котором новые запросы подключаются к обработке по мере выполнения текущих, и PagedAttention, управляющий кешем ключей и значений при генерации текста. Этот кеш обычно называют KV-кешем: в нём хранится рабочая память модели для токенов диалога. Обзор возможностей vLLM.

Chunked prefill разбивает обработку длинного промпта на небольшие части, которые могут чередоваться с уже идущей генерацией ответов. Кеширование префиксов повторно использует результаты обработки одинакового начала промптов, например повторяющегося системного промпта. Оно ускоряет обработку входного текста, но не избавляет от генерации новых токенов ответа. Планирование и настройка, ограничения кеширования префиксов.

Ollama уже умеет обрабатывать запросы параллельно

В документации Ollama описаны параллельные запросы к одной модели и одновременная загрузка нескольких моделей — в пределах доступной памяти. Первым управляет OLLAMA_NUM_PARALLEL, вторым — OLLAMA_MAX_LOADED_MODELS. Параметр OLLAMA_MAX_QUEUE ограничивает очередь, а при перегрузке сервер может вернуть HTTP 503. В актуальном FAQ для числа параллельных запросов указано значение по умолчанию 1. Настройки параллельной обработки Ollama.

Небольшому помощнику службы поддержки может хватить увеличения числа разрешённых одновременных запросов. Но длинная очередь не добавляет вычислительной мощности: иногда она лишь заставляет клиентов дольше ждать первого токена. Ориентируйтесь на целевое время ответа, а не на максимальную очередь, которую готов принять сервер.

Контекст может занять память, которую вы оставили для пользователей

Перед сравнением движков явно задайте длину контекста. На отдельной странице Ollama о контексте значения по умолчанию зависят от памяти, тогда как FAQ по-прежнему указывает фиксированное значение. Это расхождение в документации — ещё один повод проверить фактические настройки, а не считать, что на ноутбуке и сервере они совпадают. Команда ollama ps показывает контекст загруженной модели и её размещение на CPU/GPU. Руководство Ollama по контексту.

Например, четыре параллельных диалога с контекстом по 8,192 токена требуют резервирования места под 32,768 токенов контекста. По сравнению с одним диалогом на 4,096 токенов суммарная ёмкость контекста увеличивается в восемь раз, но это не означает восьмикратного роста всей RAM процесса. Память для весов модели и других данных меняется иначе. В документации Ollama о параллельной обработке объясняется этот множитель контекста.

vLLM тоже упирается в объём памяти. Руководство по настройке предупреждает: нехватка места для KV-кеша может приводить к вытеснению запросов и повторным вычислениям, увеличивая задержки. Один из вариантов — сократить число одновременно обрабатываемых последовательностей или лимит токенов в пакете; другой — добавить GPU. Даже более развитый планировщик не создаст память, которой у машины нет.

Повод для перехода — невозможность выдержать целевые показатели сервиса под характерной пиковой нагрузкой после разумной настройки. Измеряйте время до первого токена, время до завершения ответа, число успешных запросов, рост очереди и ошибки. Сравнивайте не только медиану, но и один из верхних перцентилей задержки: пользователи замечают именно медленные ответы. Для таких проверок vLLM предоставляет метрики рабочего сервера.

Сохраняйте одинаковыми ревизию модели, точность, длины промптов, ограничения на ответ и профиль трафика. Сопоставление небольшой квантованной модели в Ollama с более крупным чекпойнтом высокой точности в vLLM сравнивает две конфигурации развёртывания, а не изолированную производительность движков.

Квантованные форматы: перенос модели — тоже часть миграции

Ollama удобнее, если у вас уже есть готовый локальный пакет модели; vLLM — если нужно подобрать формат серверного запуска под конкретное оборудование. Квантование снижает требования к памяти за счёт хранения значений модели с меньшей точностью. Совместимость контейнера файла, метода квантования и бэкенда исполнения нужно проверять по отдельности.

Ollama документирует импорт весов Safetensors, а также моделей GGUF как в одном файле, так и разбитых на несколько. GGUF — формат файлов моделей, часто используемый для локального инференса. В актуальном руководстве Ollama сказано, что квантовать GGUF нужно до импорта, а не во время него. При этом документация create API отдельно приводит nvfp4 как пример квантования при импорте. Это не означает, что такой вариант поддерживается для любой архитектуры и любого GPU. Руководство по импорту Ollama, create API.

Для KV-кеша Ollama также указывает f16, q8_0 и q4_0. Это настройки кеша, а не взаимозаменяемый перечень форматов весов модели. Для квантованного кеша требуется Flash Attention. Документация Ollama о кеше.

vLLM перечисляет AWQ/GPTQ, FP8, INT8, INT4, MXFP4/MXFP8, NVFP4 и другие интеграции квантования. Матрица поддержки зависит от реализации и оборудования, поэтому формулировки «поддерживает 4-битное квантование» недостаточно для закупки. Проверьте конкретное сочетание чекпойнта и вычислительных ядер. Документация vLLM о квантовании, обзор форматов.

Токенизатор превращает текст в идентификаторы токенов, с которыми работает модель. Изменение весов, токенизатора, формата диалога или квантования может повлиять на ответы, вызовы инструментов и расход памяти. Заложите время на регрессионные проверки, даже если название семейства моделей остаётся прежним.

Mellum2.1: почему важно, в каком виде выпущена модель

Анонс Mellum2.1 от JetBrains 8 октября 2026 года показывает, как релиз сначала ориентируется на серверный запуск: в публикации говорилось, что сборки GGUF для Ollama, llama.cpp и LM Studio скоро появятся. На странице выпущенной модели есть инструкция по запуску в vLLM, а среди интеграций на старте — vLLM и ещё один сервер инференса, SGLang. Анонс JetBrains, страница релиза.

Разрыв между вариантами запуска уже сократился: по состоянию на 12 октября в официальном репозитории GGUF от JetBrains доступны для скачивания квантованные файлы. Формулировка «скоро» из анонса больше не описывает текущую доступность. Практический вывод: прежде чем менять движок ради новой модели, проверьте актуальные файлы и инструкции по запуску. Официальные файлы GGUF.

OpenAI-совместимые серверы: клиент можно оставить, поведение API нужно проверить

Оба проекта документируют OpenAI-совместимый сервер, но одинаковая структура запроса ещё не гарантирует одинакового поведения. Локальный базовый URL Ollama — http://localhost:11434/v1/; в примере vLLM используется http://localhost:8000/v1. Если приложение обращается к нативному /api/chat Ollama, при переходе потребуется адаптировать работу с API, а не просто сменить порт. Совместимость Ollama, документация сервера vLLM.

Например, после установки vLLM на совместимое оборудование следующая команда запускает модель из документированного примера сервера, явно задавая предел контекста и имя модели для приложения:

vllm serve NousResearch/Meta-Llama-3-8B-Instruct \
  --host 127.0.0.1 \
  --port 8000 \
  --max-model-len 8192 \
  --served-model-name app-model

Это пример настройки: он не использует тот же чекпойнт, что и приведённая выше команда Ollama, и не является рекомендацией по ресурсам для рабочего сервиса. Параметр --served-model-name позволяет сохранить для клиента постоянное имя модели при изменении развёртывания. Аргументы движка vLLM.

Проверьте шаблоны чата, которые преобразуют сообщения с разными ролями во входной формат модели, и явно задайте параметры сэмплирования. vLLM может применять значения по умолчанию из generation_config.json репозитория; параметр --generation-config vllm отключает такую подмену настроек. На реальных запросах приложения сравните разбор вызовов инструментов, структурированный вывод, потоковую передачу, отмену запросов и обработку ошибок.

Включите аутентификацию в план перехода. В локальном примере совместимости Ollama значение API-ключа клиента игнорируется. vLLM поддерживает API-ключ, но документация по безопасности предупреждает, что он защищает не все эндпоинты. Оставьте бэкенд в закрытой сети, а на внешней границе сервиса настройте аутентификацию, TLS и ограничения на доступные маршруты. Ограничения API-ключа vLLM.

Если приложение часто меняет базовые модели, появляется ещё одна статья затрат на переход: FAQ vLLM описывает работу с несколькими базовыми моделями через отдельные экземпляры сервера и слой маршрутизации. Псевдоним модели в API не загружает другую модель. Для внутреннего инструмента с небольшой нагрузкой управление несколькими загруженными моделями в Ollama может быть удобнее. Ограничения vLLM при работе с несколькими моделями.

Разница в стоимости: одна нагрузка, разные расходы на эксплуатацию

Ни один движок не выигрывает за счёт более низкого тарифа на токены при самостоятельном размещении: платы движку за токены здесь нет. Платные облачные планы Ollama — отдельная услуга, а не условие запуска локальных моделей. Это различие разобрано в обзоре тарифов Ollama; актуальные облачные предложения смотрите на странице поставщика по ссылке выше.

Для собственного оборудования ежемесячные затраты включают электроэнергию, долю стоимости оборудования и ваше время. Для арендованного начните с цены машино-часов, затем добавьте хранение данных, сеть и сопровождение. Более эффективный инференс экономит деньги лишь тогда, когда позволяет сократить выделенные ресурсы, уменьшить оплачиваемое время работы или получить бизнес-эффект, который можно оценить в деньгах.

Пример расчёта на одинаковых исходных условиях

Ниже — явно заданные допущения для бюджета, а не цены поставщиков и не результаты тестов: GPU по $1 в час, 730 часов в месяц и 100,000 успешно выполненных задач. На каждую задачу приходится 2,000 токенов промпта и 1,000 токенов ответа. Модель, квантование, требования к качеству и целевой задержке одинаковы для обоих движков.

Если оба справляются на одном постоянно арендованном GPU, вычисления для каждого стоят $730 в месяц, или $0.0073 за успешную задачу и за 1,000 токенов ответа. В расчёте на выходные токены объём работы с промптом зафиксирован; это не смешанная цена входных и выходных токенов.

Теперь заложим для развёртывания vLLM ещё два часа сопровождения в месяц по условной ставке $100 в час и однократно четыре часа на миграцию:

• Базовый вариант с Ollama: $730 регулярных расходов, без затрат, общих для обоих решений.
• vLLM на том же оборудовании: $930 регулярных расходов, или $0.0093 за 1,000 токенов ответа.
• Первый месяц vLLM с учётом миграции: $1,330, или $0.0133 за 1,000 токенов ответа.

Эти часы — исходные данные, которые нужно заменить собственной оценкой, а не утверждение о длительности миграции. Общие работы по сопровождению, хранение данных, сетевые расходы и налоги исключены из обеих частей сравнения.

Когда vLLM начинает обходиться дешевле

При такой почасовой ставке vLLM должен сэкономить больше 200 GPU-часов в месяц, чтобы покрыть предполагаемые дополнительные расходы на сопровождение. Чтобы в первый же месяц окупить все $400, потраченные на миграцию, нужно сэкономить больше 600 GPU-часов.

Для примера с круглосуточной работой предположим: ваш нагрузочный тест показал, что Ollama нужны две одинаковые реплики на GPU, а vLLM — одна, чтобы обслужить ту же нагрузку с тем же целевым временем ответа. Тогда вычисления для Ollama обойдутся в $1,460, а вычисления и дополнительное сопровождение vLLM по-прежнему стоят $930. При этих условиях экономия составит $530 в месяц, а $400 на миграцию окупятся примерно за 0.75 месяца.

Это расчёт окупаемости, а не утверждение, что vLLM вдвое сокращает потребность в GPU. Если обоим решениям нужно одинаковое оборудование и нет другого преимущества, оправдывающего переход, сравнение платы за ПО никогда не даст перевеса vLLM. Нельзя обоснованно назвать универсальное число пользователей, после которого переход становится выгодным.

Переход с Ollama на vLLM: короткий чек-лист

Переносите проверенную связку модели и API так, чтобы можно было вернуть прежнюю маршрутизацию. Скачанные веса — лишь часть того, от чего зависит работа пользователей.

Пока не переходите, если Ollama выполняет целевые показатели сервиса, для нужной модели нет проверенного варианта запуска в vLLM или миграция лишь заменит рабочий пакет незнакомым бэкендом. Оставить Ollama на ноутбуках, а vLLM использовать на общем сервере тоже разумно — при условии, что различия проверены, а совпадение сред разработки и эксплуатации не принимается на веру. Больше вариантов — в обзоре альтернатив Ollama.

Следующий шаг конкретен: зафиксируйте наиболее интенсивную из характерных нагрузок, определите допустимое время ответа и воспроизведите её на предполагаемом сервере, прежде чем покупать дополнительные мощности.

Частые вопросы

Используйте чек-лист аудита бизнес-процессов для внедрения ИИ, чтобы выбрать, какой внутренний процесс заслуживает общего сервера моделей, и подпишитесь на рассылку, чтобы следить за дальнейшими изменениями инструментов.