Малые языковые модели: где полезны SLM и как их запустить

Малые языковые модели стоит попробовать, если задачу можно чётко описать, результат — проверить, а для исключений есть отдельный порядок действий. Начните с оценки модели размером от 1B до 4B на узкой задаче. Для работы, где нужны более широкие знания или более надёжные рассуждения, сохраните доступ к API передовой модели, если это допускает ваша политика обработки данных.

С точки зрения бизнеса вопрос прост: сможет ли меньшая модель обеспечить нужное качество на вашем оборудовании? Быстрый и правдоподобный ответ мало помогает, если ради его проверки приходится создавать ещё одну очередь задач.

Что такое малые языковые модели?

Малая языковая модель, или SLM, уступает частью универсальных возможностей ради меньших вычислительных затрат. Для практического планирования можно ориентироваться на диапазон примерно от 100 миллионов до 10 миллиардов параметров, хотя встречаются и более крупные пограничные варианты. Общепринятого порога нет: IBM говорит о моделях с миллионами или несколькими миллиардами параметров, а Mistral прямо относит модель 14B к своему семейству малых моделей. Граница сдвигается по мере развития оборудования, методов обучения и возможностей самых крупных моделей. Определение IBM и семейство моделей Mistral хорошо показывают это расхождение.

Параметр — это числовой вес, полученный в ходе обучения и влияющий на ответы модели. Токен — фрагмент текста, с которым работает модель. Генеративные чат-модели строят ответ, последовательно предсказывая токены по переданному контексту. У меньшей модели меньше обученных весов, хотя наряду с их количеством важны архитектура и качество обучения. Этот механизм разобран во вводном материале Google о языковых моделях.

Представьте небольшую пекарню с оборудованием под определённый ассортимент. Для одних и тех же ежедневных заказов её вполне достаточно. Но приготовить любое блюдо, которое придумает посетитель, — уже другая задача. Небольшой размер сам по себе не делает модель специалистом. Зато узкий рабочий процесс позволяет направить её возможности туда, где они нужны.

Малые модели можно обучать напрямую или создавать с помощью дистилляции, когда меньшая модель учится на ответах большей. Квантизация снижает точность хранения числовых весов, чтобы они занимали меньше памяти. Это разные методы: квантизация большой модели не уменьшает число её параметров и не превращает её в эквивалент гораздо меньшей модели. IBM рассматривает эти методы по отдельности.

SLM и LLM: как выбирать между малой и большой моделью

Сначала оценивайте качество решения задачи, затем — требования к развёртыванию. API передовой модели, то есть доступ к мощной модели провайдера через интернет, избавляет от необходимости обслуживать оборудование для инференса. Малая модель даёт больше вариантов размещения, в том числе возможность выполнять всю задачу на устройстве.

Размер модели и место её запуска — отдельные решения. Малую модель можно разместить за API, а некоторые более крупные открытые модели — запустить на собственной инфраструктуре. Слово «mini» в названии продукта не говорит ни о числе параметров, ни о том, можно ли скачать его веса.

Это сравнение условий развёртывания, а не результаты бенчмарков. В обзоре SLM от Microsoft описаны преимущества в расходе ресурсов и ограничения возможностей. Сравнивать модели имеет смысл на вашей реальной нагрузке, включая сложные входные данные.

Зачем бизнесу малая модель

Стоимость запроса. Инференс меньшей модели может требовать меньше ресурсов. Но локальный запуск не бесплатен: в расчёт входят оборудование, электричество, поддержка, простаивающие мощности и повторные попытки. Сравнивайте стоимость принятого результата с учётом проверки и передачи сложных случаев дальше. Исчезновение счёта за API само по себе ещё не означает экономию. При небольшой нагрузке сервис бывает проще купить, чем обслуживать самостоятельно.

Задержка. Локальное выполнение убирает обращение к удалённой модели, но не гарантирует более быстрого ответа. Основное время может уходить на загрузку модели, обработку длинного промпта, работу с медленной памятью или одновременные запросы. Если сотрудник ждёт, пока заполнится форма, измеряйте время до появления полностью заполненной и корректной формы.

Конфиденциальность. При локальном инференсе промпт может оставаться на устройстве. Но преимущество теряется, если подключённый поиск, резервная удалённая модель или журнал приложения отправляют тот же текст наружу. Прежде чем заявлять о конфиденциальности, проверьте весь путь данных, включая синхронизацию файлов и телеметрию.

Работа без интернета. Когда приложение, модель и необходимые файлы уже загружены, локальный процесс может работать без доступа к сети. Это важно, например, для выездного техника, который составляет отчёт о ремонте в подвале. Для проверки актуальных складских остатков соединение всё равно понадобится, если у вас нет и локальной копии этих данных. В документации LM Studio о работе без интернета чётко разделены запуск скачанной модели и операции, требующие подключения.

Основателю стартапа с привлечёнными инвестициями облачный сервис часто помогает быстрее проверить, полезна ли функция вообще. Техническому директору средней компании локальное развёртывание становится интересно, когда повторяющаяся нагрузка или требования к размещению данных оправдывают собственную эксплуатацию. Для опытного сотрудника, отвечающего за процесс, решающий показатель — доля задач, по которым получается пригодный результат без исправлений. Разработчик-одиночка может проверить реализуемость идеи на ноутбуке ещё до покупки оборудования.

Пять задач, для которых подходят малые модели

Лучшие кандидаты — задачи с ограниченным набором ответов и понятным способом отбраковки ошибок. Ниже предложены схемы рабочих процессов. Это не утверждение, что любая из перечисленных далее моделей уже справляется с вашей задачей.

1. Классификация

Модель может относить текст к одной из заранее заданных категорий. Например, сотрудник поддержки распределяет обращения по категориям billing, access, bug и other. Дайте определения категорий и пограничные примеры, а затем измеряйте ошибки отдельно для каждой категории.

Полезно ограничить задачу выбором очереди обращений. Разбираться с учётной записью клиента — уже другой уровень ответственности. Для сообщений за пределами классификации оставьте маршрут other. Если простые правила и так надёжно распределяют входящие сообщения, сохраните эти правила.

2. Извлечение данных

Преобразуйте исходный текст в запись с фиксированными полями: например, номером счёта, поставщиком, сроком оплаты и валютой. Для каждого извлечённого поля требуйте подтверждающий фрагмент исходного текста, а при отсутствии информации допускайте null. Схема задаёт разрешённую структуру и типы данных в ответе. Она проверяет формат, но не доказывает, что значения верны.

При работе со сканами распознавание текста остаётся отдельным этапом, если выбранная модель и среда выполнения не поддерживают изображения на входе. Проверяйте даты, суммы и идентификаторы программно, прежде чем запись попадёт в систему бухгалтерского учёта. Не просите модель угадывать отсутствующий номер счёта.

3. Маршрутизация запросов

Малая модель может предлагать, в какой специализированный процесс направить запрос. Например, внутренняя служба поддержки различает запросы «найти регламент», «восстановить доступ» и «связаться с сотрудником». Затем приложение проверяет, разрешён ли выбранный маршрут.

Модель маршрутизации не должна отвечать за права доступа. Рассматривайте её выбор как предложение, проверяйте его по списку разрешённых маршрутов и передавайте неоднозначные запросы на дополнительное рассмотрение. Уверенность, которую модель указывает в своём ответе, не является откалиброванной вероятностью его правильности.

4. Ассистенты на устройстве

Ассистент может отредактировать заметку техника, кратко изложить локально сохранённую инструкцию или подготовить поисковый запрос без отправки исходного текста удалённой модели. Область работы стоит задать явно: «помоги разобраться в этих скачанных руководствах», а не «ответь на любой вопрос об обслуживании».

Передавайте нужный фрагмент вместе с запросом. Модель не узнает новую процедуру только потому, что приложение куда-то её скачало. Оставьте заметную ссылку на исходный документ и тестируйте работу на реальном телефоне с учётом расхода батареи и нагрева.

5. Черновики по шаблону

Создавайте черновик из проверенных полей по заданному формату. Например, менеджер по работе с клиентами может превратить проверенную запись встречи в письмо по её итогам с разделами о решениях, ответственных и следующих шагах.

Обязательства, цены и даты должны поступать из проверенных исходных полей. Если значения нет, пропустите его или запросите. Генерацию текста малой моделью проще контролировать, когда модель отвечает за формулировки, а приложение предоставляет факты.

Малые языковые модели с открытыми весами: размеры и лицензии

Ниже — модели с открытыми весами, сведения о которых проверены по материалам разработчиков 14 октября 2026 года. Это не рейтинг по результатам практического тестирования. Термин «open source» здесь часто используют вольно: возможность скачать веса не означает одинаковые права на их использование. Проверяйте лицензию именно того чекпойнта, который включаете в продукт, в том числе производной или квантизованной сборки.

Размеры указаны так, как их называют разработчики; существенные различия в подсчёте параметров отмечены отдельно. Среда выполнения — это ПО, которое загружает веса и запускает модель. Совместимость и доступный объём памяти всё равно нужно проверять.

Google Gemma 4 стоит оценить, если локальному ассистенту нужны не только текстовые, но и графические или аудиоданные на входе. Обозначения E2B и E4B отражают эффективное число параметров, поэтому рассчитывать память только по названию нельзя. Google публикует сведения о форматах развёртывания и требованиях к памяти, включая локальные и мобильные варианты.

Microsoft Phi-4-mini-instruct — текстовая модель. В её карточке есть инструкции по локальному запуску и прямое предупреждение об ограниченном объёме фактических знаний. Её разумно рассмотреть для работы с переданным контекстом, тщательно проверив качество на вашем языке и документах. Заменой актуальному источнику знаний она не станет.

Alibaba Qwen3.5 предлагает несколько малых размеров, на которых удобно сравнивать решение одной задачи при разной потребности в ресурсах. В карточке модели 4B описаны варианты запуска, а в лицензии чекпойнта — условия использования. Проверяйте поддержку в среде выполнения и состав всего мультимодального пакета: нельзя предполагать, что любое локальное приложение поддерживает каждый вариант.

Meta Llama 3.2 предлагает текстовые модели, достаточно небольшие для практических испытаний на устройстве; Meta также документирует их квантизацию для мобильного запуска. Собственная лицензия семейства отличается от MIT и Apache 2.0. Рассматривайте его для ограниченного текстового процесса. Если нужно читать изображения, потребуется другая модель.

Mistral AI Ministral 3 включает варианты base, instruct и reasoning в разных малых размерах, с поддержкой понимания изображений. Для рутинной задачи начните с оценки instruct-варианта — модели, обученной следовать запросам. Длинный ответ с рассуждениями может увеличить задержку там, где достаточно короткой категории или извлечённого поля. Облачная модель описана на актуальной странице модели 3B.

Какую малую языковую модель выбрать для первого пилота

Начните с наименьшей модели, которая поддерживает нужный тип входных данных и язык, имеет приемлемую лицензию и совместимую среду выполнения. Сравните её с более крупным кандидатом на точно тех же примерах. Без конкретной нагрузки обоснованно назвать универсального победителя невозможно.

Для выбора с учётом оборудования и более широкого круга моделей обратитесь к руководству по лучшим локальным LLM. Список выше нужен прежде всего для понимания того, как принимать решение о малой модели.

Что поместится на ноутбуке, телефоне или одной видеокарте?

Веса модели — лишь отправная точка при расчёте памяти. Дополнительная рабочая память нужна среде выполнения и контексту: тексту и другим входным данным, которые обрабатывает модель.

Вот намеренно упрощённый расчёт: 4 миллиарда параметров × 4 бита ÷ 8 = 2 ГБ весов, если считать гигабайты в десятичной системе. Это арифметический пример, а не бенчмарк и не утверждение, что модель 4B работает в 2 ГБ оперативной памяти. Метаданные квантизации, веса с разной точностью хранения, среда выполнения и кэш контекста требуют дополнительного места.

KV-кэш — рабочая память, которая позволяет не пересчитывать части уже обработанного контекста. Чем длиннее входные данные и ответы и чем больше одновременных запросов, тем выше может быть расход памяти. В рекомендациях Google по планированию памяти статические веса явно отделены от контекста и вспомогательного ПО.

Для телефона нужны совместимая мобильная среда выполнения и задача, которую устройство сможет полезно выполнять с учётом ограничений при длительной работе. На ноутбуке необходимо оставить память операционной системе и приложениям, которыми вы пользуетесь. Одна видеокарта — ещё не техническая характеристика: всё зависит от доступной видеопамяти, поддерживаемого ПО и нагрузки запросами.

Даже поместившаяся в память модель может оказаться слишком медленной. Измерьте время холодного запуска и повторных запросов, затем проверьте предполагаемую длину промпта и одновременную нагрузку. Не резервируйте максимальное контекстное окно только потому, что такой размер указан в карточке модели.

Как запустить малую языковую модель

Выбирайте Ollama, если вам подходят командная строка и локальный API. LM Studio удобна, если вы хотите скачивать, загружать и сравнивать модели в настольном интерфейсе. Оба инструмента — это среды выполнения и приложения, а не сами модели. Подробнее выбор разобран в сравнении Ollama и LM Studio.

Локальный запуск через Ollama

Ollama позволяет запускать модели локально и обращаться к ним через HTTP. Установите и запустите её по официальному краткому руководству, затем скачайте модель с конкретным именем. В разделе библиотеки Llama 3.2 перечислены оба малых размера.

1. 1

   Скачайте малую модель

   После установки Ollama выполните в терминале эти команды:

   ollama pull llama3.2:3b
   ollama run llama3.2:3b

   Первая команда скачивает модель. Вторая открывает интерактивный сеанс. Это документированный способ начать работу, а не подтверждение того, что модель уже справляется с вашей задачей.

2. 2

   Отправьте один запрос с чётко заданной задачей через API

   Следующий запрос к работающей Ollama просит определить категорию обращения в поддержку и вернуть результат в JSON. Выполните его в оболочке, где доступна команда curl:

   curl http://localhost:11434/api/generate \
     -H 'Content-Type: application/json' \
     -d '{
       "model": "llama3.2:3b",
       "prompt": "Classify the ticket as billing, access, bug, or other. Return JSON with one key: category. Ticket: I cannot sign in after resetting my password.",
       "format": "json",
       "stream": false
     }'

   Сгенерированный текст находится в поле response ответа. Эндпоинт generate также принимает JSON Schema, если нужна более строгая структура результата. Приложение всё равно должно отклонять неизвестные категории и оценивать правильность классификации.

3. 3

   Проверьте, где выполняется модель

   Команда ollama ps показывает, загружена ли модель на CPU, GPU или на оба. Если процесс должен оставаться локальным, отключите облачные функции переменной OLLAMA_NO_CLOUD=1 в окружении запущенного сервиса Ollama и перезапустите его. Эти настройки описаны в FAQ Ollama. Во время проверки работы без интернета исключите подключённые инструменты и резервное обращение к удалённой модели.

Локальный запуск через LM Studio

LM Studio — настольное приложение для скачивания и запуска совместимых локальных моделей. В документации приложения описаны поддержка GGUF — формата файлов локальных моделей — и поддержка MLX на Apple Silicon.

Откройте Discover, найдите модель и выберите совместимый вариант для скачивания, который подходит вашему компьютеру. Загрузите модель в чат и вставьте тот же запрос на классификацию, что использовался выше. Зафиксируйте точный файл модели и вариант квантизации: две сборки одного семейства могут различаться по расходу ресурсов и качеству. Актуальный порядок действий описан в руководстве по скачиванию моделей.

Для проверки без интернета сначала скачайте модель и нужную среду выполнения, отключите сеть и повторите задачу. Сама модель может работать локально, тогда как поиск моделей, скачивание или внешние инструменты требуют подключения. Успешный чат без интернета ещё не доказывает конфиденциальность всех интеграций приложения.

Запуск через облачный API

Облачный API малой модели позволяет оценить её без обслуживания собственной видеокарты. Например, в облачном сервисе Mistral наряду с более крупными моделями есть Ministral. Следуйте краткому руководству по API: создайте учётную запись и ключ, возьмите актуальный идентификатор малой модели с её страницы и отправьте тот же промпт с узкой задачей через эндпоинт chat-completion.

Храните ключ на сервере. Сравните результаты, прошедшие проверку, время ответа и затраты на проверку на том же наборе данных, который использовали для локального запуска. Инференс малой модели в облаке остаётся удалённым: небольшое число параметров не обеспечивает ни работу без интернета, ни конфиденциальность на уровне устройства.

Ограничения малых моделей: где ожидания завышены

Самые трудные сбои проявляются, когда задача выходит за рамки подготовленных примеров. Классификатор может надёжно обрабатывать простые обращения и ошибаться на сообщении, где одновременно оспаривают платёж и жалуются на доступ. Модель для черновиков способна соблюсти формат, но выдумать обязательство.

Широта знаний и рассуждения в неоднозначных ситуациях остаются слабыми местами, которые нужно проверять. В карточке Phi от Microsoft прямо говорится об ограниченном объёме фактических знаний, а также о рисках длинных диалогов, различий между языками и недостоверной информации. Передача подходящих источников помогает восполнить знания, но не гарантирует правильной интерпретации.

Утверждение «маленькая значит точная» ничем не подкреплено. Узкую задачу проще оценивать и ограничивать. Это не делает ответы модели достоверными. Сохраняйте проверку по источникам и возможность отказаться от ответа или передать запрос дальше.

«Локально значит конфиденциально» — это требование к архитектуре, которую ещё нужно построить. Журналы, внешние инструменты, синхронизация документов и резервная удалённая модель могут выводить данные за её границы даже при локальном инференсе.

«Большое контекстное окно означает, что модель поймёт всё руководство» — слишком сильное обещание. Заявленный объём входных данных не гарантирует ни того, что всё поместится в памяти, ни правильного рассуждения по каждому фрагменту. Найдите нужный раздел, передайте его вместе с вопросом и сверьте ответ с источником.

Малые языковые модели для конкретной предметной области

Специализация начинается с рабочего процесса, ещё до обучения. Дайте модели терминологию, допустимые варианты ответа и документы, относящиеся к задаче. Генерация с дополнением из найденных источников, или RAG, — это поиск подходящих материалов и включение их в запрос. Такой подход позволяет обновлять передаваемые знания без изменения весов модели.

Для ассистента по обслуживанию оборудования ищите инструкцию именно к нужному аппарату и её нужную редакцию. Не передавайте папку с разрозненными руководствами в надежде, что модель сама выберет верное. Прикрепляйте к ответу сведения о редакции источника, чтобы сотрудник мог всё проверить.

Дообучение малых языковых моделей

Дообучение изменяет предварительно обученную модель с помощью дополнительных примеров. Рассматривать его стоит, если в стабильной задаче регулярно возникают ошибки, которые не удалось устранить настройкой промпта и поиском источников, а у вас есть репрезентативные примеры с правильной разметкой.

Для классификатора поддержки это может быть специфическое для компании различие между инцидентами и запросами на новые функции. Отложите отдельный набор для оценки, который не попадёт в обучение. Если проблема в меняющихся правилах возврата средств, сначала обновите передаваемый регламент. Дообучение не заменяет актуальный источник достоверной информации.

Кому стоит начать сейчас, кому подождать, а кому оставить всё как есть?

Начинайте сейчас, если задача повторяется, результат можно проверить, а локальная доступность или размещение данных решают конкретную проблему. У опытного сотрудника с очередью обращений, которые приходится распределять вручную, есть более удачная задача для пилота, чем у основателя, задумавшего заменить всех ассистентов в компании.

Отложите переход, если не можете определить допустимые ошибки, не располагаете репрезентативными примерами или вам нужен агент, который будет принимать важные решения в открытом круге задач. Сначала выстройте процесс и получите исходные результаты для сравнения.

Сохраните существующий API, если он уже отвечает требованиям, а размещение данных, работа без интернета и измеренные эксплуатационные показатели не дают оснований для перехода. Сам по себе размер модели — не причина перестраивать систему.

Первый шаг на понедельник: выберите одну очередь, одну схему ответа и одного ответственного. Соберите 100 начальных примеров: например, 70 обычных, 20 сложных и 10 выходящих за рамки задачи запросов. Это предлагаемые стартовые числа, а не статистическая гарантия. Сохраните отдельные примеры для итоговой оценки и пополняйте набор редкими сбоями по мере их обнаружения.

Прогоните малую модель и текущую систему, с которой её сравниваете, на одних и тех же отложенных примерах. Фиксируйте правильность ответов, недопустимые результаты, передачи на дополнительную обработку, расход памяти и полное время выполнения, включая 95-й перцентиль — время, за которое завершаются 95% запросов. Задайте порог приемлемого качества до сравнения результатов и разбирайте ошибки по категориям, не ограничиваясь общим средним. Начните с теневого режима: модель предлагает ответ, а управление остаётся за существующим процессом.

Частые вопросы

Для каких задач используют SLM?

Малые языковые модели подходят для ограниченных языковых задач: классификации, извлечения данных, маршрутизации, локальной помощи и подготовки черновиков по шаблону. Пригодность зависит от самой модели, переданного контекста и проверок результата.

Что такое предварительно обученные языковые модели?

Это модели, веса которых уже настроены на закономерности из обучающего набора данных. Их можно использовать как есть или адаптировать. Вариант, дообученный на инструкциях, дополнительно учился выполнять запросы и обычно служит практической отправной точкой для создания ассистента.

Какие ещё бывают большие языковые модели?

Gemma, Phi, Qwen, Llama и Mistral — семейства языковых моделей. Некоторые включают и меньшие, и более крупные модели. SLM обозначает относительный размер, а не технологию, полностью отличную от LLM.

Что такое нейросетевая языковая модель?

Это модель, которая с помощью обученных числовых весов нейросети оценивает закономерности языка — например, какой токен, вероятнее всего, будет следующим. Многие современные генеративные языковые модели используют архитектуру трансформеров.

ChatGPT — это нейросеть?

ChatGPT — приложение, работающее на нейросетевых языковых моделях. Приложение и лежащая в его основе модель — разные уровни системы; название «ChatGPT» не обозначает сеть одного фиксированного размера. OpenAI отдельно описывает понятия, связанные с моделями, и модель, используемую в ChatGPT.

Чем CNN лучше ANN?

Свёрточная нейронная сеть, или CNN, — один из видов искусственных нейронных сетей, ANN. Универсального превосходства у неё нет. Свёртки полезны для пространственных закономерностей, например в изображениях, а выбор архитектуры зависит от задачи.

YOLO — это просто CNN?

YOLO — семейство систем обнаружения объектов. Многие версии используют свёрточные компоненты, но работающий детектор включает архитектуру, процесс обучения и логику предсказаний. Малой языковой моделью он не является. Ultralytics описывает это семейство моделей в документации.

TensorFlow — это модель CNN?

Нет. TensorFlow — программный фреймворк для создания и запуска моделей машинного обучения. CNN — один из типов моделей, которые можно построить с его помощью, что показано в учебном руководстве по CNN.

Какие четыре типа нейросетей существуют?

Универсального списка ровно из четырёх типов нет. Сети прямого распространения, свёрточные, рекуррентные и трансформерные сети — четыре часто обсуждаемые категории, но классификации архитектур различаются. Размер модели — отдельная характеристика. См. глоссарий Google по машинному обучению.

Подпишитесь на рассылку, чтобы получать практические руководства по выбору и эксплуатации систем ИИ.