Квантизация LLM: как выбрать формат и рассчитать память

Выбирайте максимальную точность, при которой модель укладывается в ресурсы под вашу нагрузку и проходит ваши проверки качества. Меньший размер файла полезен лишь тогда, когда модель по-прежнему отвечает правильно, а в памяти остаётся место для диалога.

Документация и сведения о совместимости проверены по актуальным страницам проектов 20 октября 2026 года. Данные об объёме памяти рассчитаны на основе числа параметров, указанного для Qwen2.5-7B-Instruct. Это расчёты, а не замеры потребления памяти GPU или результаты бенчмарков.

Как работает квантизация LLM: точность ниже, структура модели та же

При квантизации для хранения чисел, полученных в ходе обучения, используется меньше битов. Большая языковая модель, или LLM, генерирует текст с помощью числовых параметров — весов, значения которых определяются при обучении. Снижение точности сокращает затраты на их хранение и передачу, но вносит погрешность. Этот компромисс между памятью и точностью описан в обзоре квантизации Hugging Face.

Представьте архитектурный план, на котором размеры указаны с высокой точностью. Если округлить значения, запись станет компактнее, но некоторые размеры немного изменятся. Комнаты при этом останутся прежними. Так и обычная квантизация весов не уменьшает число слоёв или обученных параметров большой модели: меняется точность представления её весов.

У этой аналогии есть предел: квантизация устроена сложнее, чем простое отбрасывание знаков после запятой. Значения можно объединять в группы, задавать для них масштаб и отображать их на меньший набор представимых чисел. Масштаб помогает среде выполнения восстановить приближённые значения для вычислений. Важные части модели могут сохранять более высокую точность. Такие преобразования и возникающая погрешность разобраны в объяснении квантизации от IBM.

Прежде чем скачивать модель, разграничьте три понятия:

• Веса: значения, полученные при обучении и хранящиеся вместе с моделью.
• Активации: промежуточные значения, возникающие при обработке входных данных.
• KV-кэш: сохранённые данные механизма внимания для уже обработанного контекста; по мере роста диалога они занимают дополнительную память.

Квантизация только весов уменьшает первую составляющую. Две другие автоматически не сокращаются. Поэтому модель может успешно загрузиться, а затем исчерпать память на длинном запросе. В документации Ollama о памяти и кэше объём контекста и точность кэша рассматриваются отдельно.

Квантизация после обучения и обучение с учётом квантизации: в чём разница?

Разработчику, который скачивает готовую модель, обычно стоит начать с квантизации после обучения. Post-training quantization, или PTQ, преобразует уже обученный чекпойнт. Некоторые методы используют калибровочные данные — характерные для задачи входные примеры, которые помогают подобрать приближённое представление весов. Quantization-aware training, или QAT, учитывает влияние пониженной точности во время обучения или дообучения. IBM описывает оба подхода.

Чтобы пользоваться опубликованным квантизированным чекпойнтом, обучать модель не нужно. Но нужно знать, из какой исходной модели он получен, как именно его квантизировали и какая среда выполнения умеет его загружать. Одного имени файла для этого недостаточно.

Форматы квантизации GGUF, AWQ, GPTQ и FP8: что подходит вашей среде запуска?

Эти названия относятся к разным уровням системы, поэтому считать их взаимозаменяемыми вариантами нельзя. GGUF — контейнер. AWQ и GPTQ — методы квантизации. FP8 — числовой формат. Чекпойнт — сохранённый артефакт модели, который объединяет веса и сведения, необходимые для их загрузки.

Hugging Face, платформа для размещения моделей и разработчик Transformers, документирует и форматы файлов, и способы загрузки. В таблице эти сведения объединены с рекомендациями самих сред выполнения. Она помогает с выбором, но не означает, что любая архитектура модели будет работать в каждом из перечисленных вариантов.

Расширение .safetensors тоже не позволяет определить точность. Оно указывает на формат хранения тензоров. Чтобы понять, как представлены эти тензоры и каким загрузчиком пользоваться, прочитайте конфигурацию квантизации и карточку модели. В документации GGUF Hugging Face разделяет метаданные контейнера и данные тензоров, а в руководстве по AWQ показывает соответствующие поля quantization_config.

Что означает Q4_K_M?

Q4_K_M — это пресет смешанной точности, а не обещание хранить каждый параметр ровно в четырёх битах. Q4 обозначает семейство с номинальной четырёхбитной точностью, K — блочную схему K-quant, а M — средний пресет. Для отдельных тензоров может использоваться более высокая точность — в зависимости от архитектуры модели и правил квантизатора. Эти решения явно заданы в реализации квантизации llama.cpp.

Даже обычный блок Q4_K содержит служебные данные: в таблице кодирования тензоров проекта указано 4.5 бита на вес с учётом данных о масштабе и минимуме. Это показатель для блока, а не среднее значение для любой модели Q4_K_M.

На локальном компьютере с ограниченной памятью Q4_K_M — разумный кандидат для проверки. Если вариант с более высокой точностью тоже помещается в память при нужной длине контекста, сравните и его. Не жертвуйте качеством ответов только потому, что доступен файл меньшего размера.

Как рассчитать память для модели: пример Qwen2.5-7B-Instruct

Начинайте с общего числа параметров, затем добавляйте память, необходимую для работы модели. Qwen2.5-7B-Instruct — модель Qwen, дообученная следовать инструкциям, — служит здесь конкретным примером. Всего у неё 7.61 млрд параметров. В карточке отдельно указаны 6.53 млрд параметров без учёта эмбеддингов; расчёт по этому меньшему числу пропустит часть хранящейся модели. Карточка модели Qwen.

В идеальном случае расчёт выглядит так:

Объём весов в байтах ≈ число параметров × число битов на параметр ÷ 8

Для 16-битного представления получаем 7,610,000,000 × 16 ÷ 8 = 15,220,000,000 bytes. Повторим расчёт для других вариантов точности:

Это наши расчёты по округлённому числу параметров из карточки модели с допущением, что каждый параметр занимает указанное число битов. Для десятичных GB число байтов делят на 1,000,000,000, для GiB — на 1,073,741,824. Разница в единицах меняет отображаемое число, а не объём памяти.

В таблице намеренно не учтены масштабы квантизации, тензоры повышенной точности, метаданные файла, кэш, активации, временные рабочие буферы и память, зарезервированная средой выполнения. Размер файла Q4_K_M не будет равен идеальному значению из строки для четырёх битов. Эта строка также не доказывает, что модель заработает на условном GPU с 4 GB памяти.

Поэтому короткого диалога недостаточно для проверки памяти локального помощника по программированию. Полезный тест включает исходные файлы, инструкции и длину ответа, с которыми вы планируете работать. Для сервера добавьте одновременные запросы. В документации Ollama прямо описано, как на память влияют параллельные запросы и выделение контекста.

Отдельный расчёт памяти под контекст разобран в руководстве по KV-кэшу. Квантизация весов и квантизация кэша — независимые настройки; vLLM тоже описывает квантизацию KV-кэша как отдельную возможность.

Выбирайте формат под среду запуска

Сначала определитесь со способом выполнения, затем — с точностью. Совместимость обязательна. Когда она обеспечена, выбирайте по доступной памяти, качеству ответов и измеренной задержке под вашу нагрузку.

llama.cpp: начните с совместимого GGUF

llama.cpp — движок локального инференса и прямой путь к запуску GGUF, когда нужен контроль над артефактом и размещением модели на устройствах. Документация проекта указывает поддержку выполнения на CPU, Apple silicon и совместного использования CPU/GPU. Это полезно, когда все веса модели не помещаются на дискретном GPU. Документация проекта llama.cpp.

Ограничение в том, что успешная загрузка ещё не гарантирует приемлемую скорость. Распределение между CPU и GPU меняет условия выполнения, поэтому время обработки реального запроса и генерации ответа всё равно нужно измерять. Сначала выберите архитектуру модели, затем совместимый GGUF и только потом пресет квантизации.

Сузить выбор базовой модели поможет руководство по лучшим локальным LLM. Квантизация не научит неподходящую базовую модель понимать задачу, с которой она плохо справляется и при более высокой точности.

Ollama: импортируйте модель с нужной квантизацией

Ollama — инструмент для локального запуска моделей — умеет импортировать готовый GGUF, но сам импорт не выполняет квантизацию. Актуальное руководство по импорту предписывает сначала подготовить квантизированный файл. Это важно, если вы ожидаете, что команда импорта автоматически превратит модель высокой точности в Q4_K_M. Документация Ollama по импорту.

Если Ollama установлена, а совместимый и уже квантизированный файл сохранён в текущем каталоге как model.gguf, описанная в документации последовательность выглядит так:

printf 'FROM ./model.gguf\n' > Modelfile
ollama create quant-check
ollama run quant-check

В другом терминале выполните ollama ps, чтобы посмотреть, как загруженная модель размещена на CPU/GPU. Эта проверка показывает, что именно загрузилось; качество модели она не оценивает. FAQ Ollama.

Ограничением Ollama по-прежнему остаётся объём памяти, нужный для вашей нагрузки. Удобная команда запуска не отменяет расходов на контекст и одновременные запросы. В сравнении Ollama и llama.cpp разобрано, какой уровень контроля над артефактами и средой выполнения выбрать.

vLLM: проверьте совместимость чекпойнта, вычислительного ядра и GPU

vLLM, движку инференса и обслуживания запросов к моделям, нужен квантизированный чекпойнт, совместимый с поддерживаемым способом выполнения. Начните с артефакта AWQ, GPTQ или FP8, который поддерживает издатель модели, затем сверьте свой GPU с таблицей совместимости оборудования vLLM. Вычислительное ядро — низкоуровневая реализация вычислений, которая обеспечивает эффективную работу формата на данном оборудовании.

Для новых задач квантизации AWQ актуальная документация рекомендует LLM Compressor. AutoAWQ объявлен устаревшим; при этом AWQ как метод и семейство чекпойнтов никуда не исчез. Для GPTQ в Transformers поддерживаемым бэкендом служит GPTQModel, а совместимость может зависеть от настроек чекпойнта. Рекомендации vLLM по AWQ, рекомендации Hugging Face по GPTQ.

У FP8 есть ещё одно важное различие. W8A8 означает восьмибитные веса и активации, W8A16 — восьмибитные веса и шестнадцатибитные активации. vLLM документирует нативный режим FP8 W8A8 для NVIDIA Ada, Hopper и Blackwell, а Turing и Ampere могут использовать режим W8A16 через Marlin с квантизацией только весов. Поэтому формулировка «FP8 поддерживается» ещё не говорит, какой способ вычислений будет задействован. Документация vLLM по FP8.

Не выбирайте GGUF по умолчанию для развёртывания в vLLM лишь потому, что он работал локально. Актуальная документация направляет пользователей GGUF к vllm-gguf-plugin и по-прежнему описывает этот вариант как экспериментальный и недостаточно оптимизированный, с возможной несовместимостью отдельных функций. Это ограничение при переносе модели, а не свидетельство недостатков самого GGUF. Документация vLLM по GGUF.

API провайдера: выбирайте только из доступных настроек

Если API провайдера не предоставляет настройку точности, выбирать локальную квантизацию вам не из чего. Изучите условия работы конкретного эндпоинта. Если доступны именованные варианты точности, проверяйте выбранный вариант. Если нет — оценивайте ответы и задержку сервиса, не пытаясь угадать его внутреннее представление данных.

Одинаковое название модели не гарантирует одинаковую квантизацию, среду выполнения или результаты у разных провайдеров. Запрашивайте документально подтверждённый чекпойнт или гарантию точности, только если этого требует приложение. Загрузка и обслуживание собственных весов — отдельное решение о развёртывании, которое снова возвращает вас к совместимости среды выполнения и оборудования.

Квантизация нейросетей: компромисс между памятью, скоростью и качеством

Экономия памяти следует из более компактного представления данных, а скорость и качество нужно оценивать отдельно. Чем меньше данных хранится в памяти, тем меньше работы может потребоваться для перемещения весов. Но перед вычислениями среде выполнения может понадобиться распаковать или преобразовать эти значения. В документации Hugging Face по GPTQ объясняется, как объединённое вычислительное ядро восстанавливает веса низкой битности для вычислений, не разворачивая всю модель в глобальной памяти GPU.

В этом и преимущество, и ограничение подхода. Поддерживаемое ядро позволяет получить пользу от компактных весов. Неподходящий способ выполнения способен свести выигрыш на нет. Измеряйте время до первого токена, скорость генерации и пропускную способность при нужном числе одновременных запросов, а не судите о скорости по размеру файла.

Качество тоже зависит от задачи. Для помощника по программированию проверяйте, проходят ли предложенные изменения соответствующие тесты. При извлечении данных из документов сравнивайте заполнение обязательных полей и корректность структурированного вывода. Для многоязычного помощника включайте в проверку языки, с которыми он будет работать. Гладко написанный ответ ещё не доказывает, что квантизация сохранила поведение модели в вашей задаче.

Полезно сравнивать один и тот же исходный чекпойнт при высокой точности и с выбранной квантизацией, используя одинаковые запросы, шаблон чата и настройки генерации. Если одновременно сравнивать разные модели, выделить влияние квантизации не получится.

Когда квантизация не нужна и какие её преимущества преувеличивают

Сохраняйте более высокую точность, если модель уже помещается в память, а квантизированный вариант не даёт измеримой пользы при эксплуатации. Дополнительное сжатие означает ещё один артефакт и ещё один вариант поведения, который придётся проверять. Оно должно решать существующую проблему.

Не переходите на пониженную точность, если вариант проваливает важные проверки по вашей задаче, плохо поддерживается средой выполнения или всё равно исчерпывает память при работе с длинным контекстом. В последнем случае сначала разберитесь с контекстом и одновременными запросами, вместо того чтобы снова и снова уменьшать веса.

Квантизированную модель для инференса тоже не стоит считать универсальным чекпойнтом для обучения. Bitsandbytes документирует поддержку обучения при низкой битности для дополнительных параметров, например весов адаптеров. Это конкретный сценарий дообучения, а не основание считать, что любая скачанная квантизированная модель поддерживает обычное обучение всех весов. Документация Hugging Face по bitsandbytes.

Вот какие утверждения преувеличивают возможности квантизации:

• «Четыре бита означают, что всё приложение расходует вчетверо меньше памяти». Это идеальное соотношение разрядности весов по сравнению с шестнадцатью битами. Память при выполнении расходуется и на другие составляющие.
• «Восемь битов — это один формат». FP8, INT8 и Q8_0 различаются представлением данных и способами выполнения.
• «Чем меньше битов, тем выше скорость». Превратится ли экономия памяти в уменьшение задержки или рост пропускной способности, зависит от чекпойнта, ядра, оборудования и нагрузки.
• «Большая квантизированная модель всегда лучше маленькой модели высокой точности». Одних числа параметров и битности недостаточно, чтобы судить о качестве решения задачи. Если обе модели помещаются в память, оцените обе.

Подобрать варианты для программирования поможет руководство по лучшим локальным моделям ИИ для работы с кодом. Затем сравните разные квантизации выбранного чекпойнта на тех задачах, которые собираетесь ему поручать.

С чего начать квантизацию LLM на практике?

Начните с одного поддерживаемого артефакта и небольшой воспроизводимой проверки. Не меняйте исходную модель, пока не разберётесь, как на результат влияет точность.

Частые вопросы

За практическими руководствами по запуску и внедрению систем ИИ подписывайтесь на рассылку.