Дообучение LoRA: от настройки адаптера до проверки качества

Дообучение LoRA стоит попробовать, если модель раз за разом ошибается в стиле, формате или решении задачи, хотя вы уже подобрали хороший промпт. Для каждой адаптируемой матрицы весов метод обучает 2 небольшие матрицы, оставляя исходные веса замороженными. QLoRA дополнительно хранит замороженную базовую модель в 4-битном представлении. Цель — измеримое улучшение на вашей задаче и такой способ развёртывания, при котором оно сохранится.

Документация и ограничения развёртывания проверены 26 октября 2026 года. Описание механизмов опирается на исходные статьи о LoRA и QLoRA.

Для разработчика отправная точка — повторяющаяся ошибка. Модель для службы поддержки видит нужный регламент в контексте, но постоянно выбирает неверную категорию эскалации. Помощник для работы с текстом понимает задание, но регулярно нарушает редакционные правила. В таких случаях дообучение имеет смысл рассмотреть. Если же модель не знает действующие сегодня правила возврата, ей сначала нужен доступ к этим правилам.

Как работает дообучение LoRA?

LoRA меняет поведение модели, обучая небольшую поправку к выбранным матрицам весов. При обычном обучении LoRA исходные матрицы остаются замороженными. Матрица весов — это таблица чисел, полученных при обучении и определяющих преобразование информации внутри модели. Адаптер — дополнительный набор обучаемых параметров, который меняет это преобразование.

Представьте, что к существующему зданию пристраивают входной модуль. Несущая конструкция остаётся прежней, но путь людей через здание меняется. Модуль меньше самого здания и при этом зависит от него. Точно так же адаптер LoRA не является ни полноценной языковой моделью, ни заменой базовой модели.

Название расшифровывается как Low-Rank Adaptation — адаптация низкого ранга. Вместо полноразмерного обновления матрицы весов LoRA обучает его представление в виде произведения меньших матриц, обычно обозначаемых A и B. Для линейного слоя итоговое преобразование можно записать как W + sBA: замороженные веса W плюс масштабированная поправка адаптера. Входные данные проходят через базовую ветвь и ветвь адаптера, после чего их результаты складываются. Исходная формулировка LoRA.

Поэтому адаптер может освоить корпоративный формат ответа без сохранения отдельно изменённой копии каждого базового веса. По той же причине базовая модель должна изначально подходить для задачи: поправке предстоит работать именно с выбранной моделью.

Пример расчёта параметров: расход видеопамяти он не предсказывает

Возьмём условный слой с матрицей весов 4,096 × 4,096, то есть с 16,777,216 исходными параметрами. При ранге 8 матрицы LoRA содержат 8 × 4,096 и 4,096 × 8 параметров. Вместе это 65,536 обучаемых параметров, или около 0.39% от числа параметров исходной матрицы.

Это наш арифметический расчёт на основе размерностей матриц из статьи, а не результат бенчмарка и не рекомендация по выбору ранга. Речь только об одной адаптируемой матрице. Замороженные веса никуда не исчезают, а для обучения всё ещё нужна рабочая память под промежуточные вычисления, градиенты адаптера и состояние оптимизатора. Состояние оптимизатора — служебные данные, по которым определяется следующее обновление при обучении.

На практике важно различать число обновляемых параметров и объём памяти, необходимый для всего процесса. Маленький адаптер не делает маленькой саму модель.

Различия между методами описаны в статьях о LoRA и QLoRA. Само название метода не гарантирует конкретного результата на ваших данных.

Параметры LoRA: ранг, целевые модули и масштабирование

Настройки определяют размер поправки и место её применения, а не то, насколько умной станет модель. Ранг — внутренняя размерность матриц A и B: чем он выше, тем больше обучаемых параметров. Целевые модули задают части модели, к которым подключаются адаптеры. Alpha масштабирует обновление, а dropout может служить средством регуляризации при обучении адаптера. Эти настройки описаны в справочнике по конфигурации LoRA.

Начните с поддерживаемой конфигурации обучения для своей модели. Меняйте настройки, когда результаты на валидационной выборке дают для этого основания. Если модель путает две категории обращений в поддержку, сначала проверьте противоречивые метки и недостающие пограничные примеры. Повышение ранга не объяснит модели, какой из противоречащих друг другу примеров ваш бизнес считает правильным.

Проверьте также, какие параметры действительно обучаются. В некоторых конфигурациях вместе с адаптерами обучаются дополнительные модули, например выходная голова модели. Название «LoRA» само по себе не означает, что менялись только A и B: это определяется конфигурацией.

Что даёт QLoRA и чего от неё ждать не стоит

QLoRA сокращает не только число обучаемых параметров, но и память, занятую замороженной базовой моделью. В основной конфигурации база хранится в 4-битном виде, а через неё обучаются адаптеры LoRA более высокой точности. Базовая модель заморожена, но продолжает участвовать в вычислениях, необходимых для обучения адаптера. Статья о QLoRA.

В статье объединены NF4 — числовое представление для нормально распределённых весов; двойная квантизация, сжимающая константы, используемые при квантизации; и оптимизаторы со страничным управлением памятью, которые сглаживают пики её потребления. Чтобы воспользоваться поддерживаемой конфигурацией QLoRA, не нужно реализовывать эти механизмы самостоятельно.

Выражение «4-битное обучение» легко понять неправильно. Оно не означает, что все вычисления, активации и параметры адаптера используют четыре бита. Не означает оно и того, что для обучения хватит того же объёма памяти, что и для простой загрузки квантованных весов. Длинные примеры и большие батчи по-прежнему требуют рабочей памяти.

Выбирайте QLoRA, когда главным препятствием становится объём памяти базовой модели, а ваш стек обучения поддерживает нужную модель. Если обычная LoRA уже помещается в память, сравните оба варианта на валидационных примерах. Не стоит заранее считать квантизацию лучшим выбором: сжатие меняет численное представление, и его влияние на вашу задачу нужно оценить.

В нашем руководстве по квантизации LLM разобран отдельный вопрос развёртывания: какое сжатое представление способен исполнять ваш движок инференса. Обучение адаптера с QLoRA не делает его совместимым со всеми квантованными форматами для инференса.

Когда дообучение полезнее промптов или RAG?

Дообучение уместно, когда оставшаяся проблема — устойчивое поведение, которое можно исправить на проверенных примерах. Если понятных инструкций уже достаточно для выполнения требований, продолжайте работать с промптами. Генерация с дополнением поиском, или RAG, позволяет передавать модели релевантные документы или факты из базы данных во время запроса. Подробную схему выбора мы разобрали в статье RAG или дообучение.

Для корпоративного стиля сначала попробуйте кратко сформулировать правила и добавить в промпт характерные примеры. Обучение стоит рассматривать, когда желаемое поведение уже определено, а одни и те же нарушения повторяются на разных входных данных. Примеры должны учить принимать решения — например, начинать с ответа или избегать необоснованных превосходных оценок, — а не просто повторять фирменную фразу.

Для формата разделяйте синтаксис и смысл. Если среда исполнения поддерживает структурированный вывод с ограничениями, проверьте его прежде, чем обучать модель только ради корректного JSON. Ответ может соответствовать схеме и при этом содержать неверно выбранную категорию. LoRA становится интереснее, когда именно эта смысловая ошибка повторяется постоянно. Сохраняйте проверки на уровне приложения даже после того, как адаптер улучшит результат.

Для узкой задачи определите границу между решениями. При обращении о незнакомом списании может потребоваться проверка учётной записи, а при подтверждённом двойном платеже — проверка со стороны платёжного отдела. Обучайте модель на проверенных парах «вход — выход», которые показывают эту разницу, включая случаи, где нужны уточнения. Результат — более надёжное повторяемое решение, а не общее утверждение, что модель стала умнее.

Для меняющихся знаний поиск остаётся более подходящим источником актуальных сведений. Адаптер стиля не должен отвечать за информацию о текущей доступности продукта. Поиск и дообучение можно сочетать: извлекать действующий регламент, а модель обучать опираться на переданные материалы и возвращать ответ нужной структуры. При сравнении вариантов такого приложения передавайте им один и тот же найденный контекст.

Для разработчиков это означает: измерить оставшиеся ошибки до выбора стека обучения. Для тех, кто отвечает за эксплуатацию, — управлять набором проверенных примеров и решать, какие ошибки существенны. Для заказчиков — запрашивать сравнительную оценку до и после обучения и конкретный артефакт для развёртывания, а не считать слова «кастомная модель» доказательством улучшения.

Если большая модель-учитель создаёт обучающие примеры для меньшей модели, это также дистилляция модели. LoRA описывает, какие параметры обновляет модель-ученик; дистилляция — откуда берётся обучающий сигнал. Их можно применять вместе, но сгенерированные целевые ответы всё равно требуют проверки.

Что выбрать: облачный API или собственный GPU?

Облачный сервис подходит, если его список поддерживаемых моделей, правила работы с данными и варианты развёртывания отвечают требованиям приложения. Собственный GPU стоит выбирать, когда нужен контроль над чекпойнтом, конфигурацией обучения и средой исполнения и вы готовы обслуживать этот стек. Определитесь со способом инференса до запуска обучения.

Together AI: обучение LoRA и экспорт результата

Together AI предоставляет облачный API для дообучения; в руководстве по быстрому старту явно запускается задача LoRA. Вызов Python client.fine_tuning.create() по умолчанию использует LoRA; это можно также указать явно через lora=True. Процесс включает подготовку диалоговых данных, их проверку и загрузку, обучение и развёртывание результата. Быстрый старт Together AI.

Ключевое ограничение — доступные варианты развёртывания. Поддержка обучения не означает доступность бессерверного инференса. В действующем руководстве дообученные модели развёртываются на выделенных ресурсах для инференса. Прежде чем окончательно выбирать базовую модель, убедитесь, что для неё поддерживается такое развёртывание.

Экспорт — отдельное решение. Together описывает checkpoint="adapter" для выгрузки только весов адаптера и checkpoint="merged" для объединённого чекпойнта базы и адаптера. Выбирайте адаптер, если ваша среда исполнения будет загружать его поверх соответствующей базовой модели; объединённый артефакт нужен, когда требуется самостоятельная модель. Развёртывание и типы чекпойнтов.

Fireworks AI: проверяйте обучение и инференс отдельно

Fireworks AI описывает LoRA в своём управляемом процессе дообучения с учителем. Дообучение с учителем, или SFT, использует примеры желаемых ответов. Чтобы явно задать обучение адаптера, в REST API используется loraRank, а в Python SDK — lora_rank. Документация Fireworks по SFT.

Важно различать отметки Tunable и Supports Lora. Базовая модель может поддерживать инференс с адаптером, обученным вне платформы, но не обучение на самом Fireworks. Руководство по обучению также допускает отдельный evaluation_dataset: можно передать собственную валидационную выборку вместо автоматического разбиения.

Для инференса Fireworks описывает live merge, при котором адаптер объединяется с базой во время развёртывания, и multi-LoRA, при котором выбранный адаптер применяется к общей базовой модели. Согласно действующему руководству по развёртыванию, обученным адаптерам LoRA нужны выделенные развёртывания по запросу; бессерверное развёртывание не поддерживается. Там же указано, что конфигурации развёртывания FP8 и FP4 не поддерживают дополнения LoRA. Поэтому вариант со сжатием не обязательно совместим с адаптерами. Руководство Fireworks по развёртыванию.

Чем обучать LoRA: PEFT или Unsloth?

Hugging Face PEFT — открытая библиотека методов дообучения с небольшим числом обучаемых параметров, включая LoRA. Она подходит, когда нужен непосредственный контроль над моделью, конфигурацией квантизации и модулями адаптера. В руководстве по квантизации описаны загрузка квантованной базы, подготовка к обучению и подключение адаптера.

В описанном варианте QLoRA используются BitsAndBytesConfig с load_in_4bit=True, NF4 и двойная квантизация. Функция prepare_model_for_kbit_training() подготавливает модель, после чего get_peft_model() добавляет к ней обёртку. Чтобы охватить линейные слои по схеме QLoRA, руководство использует target_modules="all-linear". Это поддерживаемый вариант конфигурации, но не доказательство того, что любая архитектура или последующая среда исполнения примет любой адаптер.

Ограничение PEFT — всё, что остаётся за пределами этой библиотеки: она не выберет ваши примеры, не исправит шаблон чата и не определит метрику успеха продукта.

Unsloth — открытый набор инструментов для обучения с поддерживаемыми руководствами и ноутбуками. Его руководство описывает LoRA, QLoRA и полное дообучение, включая load_in_4bit=True для варианта с квантизацией. Выбирайте Unsloth, если поддерживаемый ноутбук подходит к нужной модели и оборудованию, и используйте его как отправную конфигурацию. Руководство Unsloth по дообучению.

Главное ограничение Unsloth — совместимость конфигурации. Успешное завершение обучения в ноутбуке ещё не доказывает, что экспортированная модель сохранит то же поведение в другой среде. Используйте согласованные токенизатор, шаблон чата и настройки генерации, а затем оцените артефакт в среде инференса. Шаблон чата — формат, который обозначает для модели роли пользователя, ассистента и других участников сообщений.

Hugging Face TRL предоставляет SFTTrainer — цикл обучения с учителем, интегрированный с PEFT. Он поддерживает обучающую и оценочную выборки, а при совместимых шаблонах чата — assistant_only_loss=True, чтобы обучаться на ответах ассистента, а не на каждом токене диалога. Ограничение здесь в том, что шаблон должен поддерживать необходимую маску токенов ассистента: проверьте, как выглядят обучающие примеры после применения шаблона. TRL SFTTrainer.

Для эксперимента на собственном GPU последовательность конкретна: выберите поддерживаемую базовую модель и конфигурацию, примените шаблон к примеру диалога, проверьте, для каких токенов считается функция потерь, подключите адаптер, передайте обучающие и валидационные данные и сохраняйте чекпойнты. Чекпойнт — сохранённая версия, которую можно оценить или восстановить. Остальные решения по проекту разобраны в нашем более общем руководстве по дообучению LLM.

Как использовать и переключать адаптеры при инференсе

Вместе с адаптером нужно хранить сведения о базовой модели и её конфигурации. В PEFT метод save_pretrained() сохраняет веса адаптера и adapter_config.json; эти файлы не заменяют базовые веса. Сохраняйте рядом с адаптером точную ревизию базы, токенизатор, шаблон чата и конфигурацию обучения. Формат чекпойнтов PEFT.

Храните адаптеры отдельно, если нескольким вариантам задачи нужна общая база или если важно переключаться между вариантами. Метод PEFT load_adapter() загружает ещё один именованный адаптер, а set_adapter() выбирает его. Загрузка и активация — разные операции. Контекстный менеджер disable_adapter() позволяет выполнять инференс с исходным поведением базы. API модели PEFT.

Это различие полезно для оценки, но в приложении с общей моделью выбор адаптера должен также корректно работать при параллельных запросах. Нельзя переключать активный адаптер одной глобальной модели во время обработки несвязанных запросов и рассчитывать, что каждый получит нужное поведение. Используйте среду инференса, где явно определено, как адаптер назначается каждому запросу.

vLLM — движок инференса с поддержкой LoRA для совместимых реализаций моделей. Сервер использует --enable-lora и --lora-modules для регистрации адаптеров; запрос выбирает адаптер через поле model. Проверьте поддержку LoRA у модели, максимальный ранг адаптера и настроенный лимит одновременно используемых адаптеров. Это ограничения инференса, а не настройки обучения. Документация vLLM по LoRA.

Загрузка и выгрузка адаптеров во время работы также описаны в документации, но vLLM предупреждает: использовать эту возможность в рабочей системе стоит только в изолированной и полностью доверенной среде. Для обычного развёртывания проще регистрировать известные адаптеры при запуске.

Объединяйте адаптер с базой, если нужна самостоятельная модель и переключение адаптеров в этом артефакте не требуется. Метод PEFT merge_and_unload() встраивает поправку в базовые веса и возвращает модель без функциональности адаптеров PEFT. Некоторые конфигурации квантизации не поддерживают объединение. Сохраните исходные адаптер и базу отдельно, если позже захотите вернуться к работе с раздельными компонентами. Ограничения объединения в PEFT.

У переносимости есть ещё одно ограничение: соответствующая база — это в точности те же веса, а не просто знакомое название семейства моделей. Fireworks прямо предупреждает, что чекпойнт провайдера, использованный при обучении, может отличаться от общедоступных весов. Проверьте эту зависимость перед переносом адаптера с платформы. Рекомендации по экспорту адаптеров.

Дообучение LoRA: как сравнить качество до и после

Выпускайте адаптер только тогда, когда он улучшает нужное поведение на примерах, которые не влияли на его выбор. Снижение функции потерь при обучении означает, что модель лучше подстраивается под обучающие примеры; само по себе это не критерий готовности к выпуску.

Для примера с маршрутизацией обращений в поддержку используйте следующий протокол оценки. Это рекомендуемая процедура, а не отчёт о проведённом эксперименте.

1. 1

   Определите критерии приёмки до обучения

   Задайте допустимые метки, обязательные поля ответа и правила эскалации. Решите, какие ошибки блокируют выпуск. Для корпоративного стиля сформулируйте наблюдаемые правила, например «сначала ответ, затем пояснения» и «не добавлять неподтверждённые утверждения». Расплывчатое пожелание писать лучше не даёт основы для надёжного сравнения.

2. 2

   Разделите данные на обучение, валидацию и финальный тест

   Обучающие примеры обновляют адаптер. Валидационные помогают выбрать конфигурацию и чекпойнт. Финальный тест остаётся закрытым, пока эти решения не приняты. Связанные обращения, перефразированные версии одного документа и почти дублирующиеся примеры должны попадать в одну и ту же выборку. Иначе тест может поощрять знакомство с материалом вместо способности к обобщению.

3. 3

   Зафиксируйте сильный исходный результат

   Запустите базовую модель без дообучения с лучшим практически применимым промптом и теми средствами контроля структурированного вывода, которые собираетесь сохранить. Для приложения с поиском сохраните также найденные материалы. Зафиксируйте ревизию модели, промпт, шаблон, настройки генерации, ответы и версию средства оценки. Адаптер должен превосходить ваш рабочий альтернативный вариант, а не заведомо слабый промпт.

4. 4

   Выбирайте на валидации, сравнивайте на закрытом тесте

   По результатам валидации выберите чекпойнт и зафиксируйте выбор. Запустите этот адаптер и исходный вариант на одних и тех же входных данных финального теста с согласованными настройками. Если в целевом приложении после обучения планируется более короткий промпт, измерьте его влияние отдельно от контролируемого сравнения адаптера, чтобы было понятно, откуда взялось улучшение.

5. 5

   Проверьте артефакт, который будет работать в приложении

   После объединения весов, квантизации или смены движка инференса повторите приёмочные проверки на развёрнутом артефакте. Включите длинные входные данные, неоднозначные запросы и случаи, где должно сохраняться исходное поведение базы. Выпускайте модель только тогда, когда целевое улучшение сохраняется после развёртывания, а результаты регрессионных проверок остаются приемлемыми.

Оценивайте синтаксис, правильность решения задачи и стиль отдельно. Для модели поддержки корректный JSON с неверным решением об эскалации всё равно является ошибкой. Для текстового помощника более гладкий ответ с выдуманным утверждением о продукте — ухудшение.

Показывайте объём выборки, на котором рассчитаны показатели, и результаты по категориям, а не только общий процент успеха. Точность показывает, как часто предсказанная категория верна; полнота — какую долю реальных случаев этой категории модель обнаруживает. Если большинство примеров — обычные вопросы об оплате, средний показатель может скрыть ошибки в небольшом, но важном классе эскалаций. Учитывайте и успешные случаи, ставшие ошибочными, и ошибки, которые удалось исправить.

При субъективной оценке стиля скрывайте, какая модель дала каждый ответ, и меняйте порядок их показа. Модель-оценщик может помочь организовать проверку, но прежде чем использовать её оценку как условие выпуска, сопоставьте её решения с человеческими. Полезность определяют критерии оценки, а не убедительность объяснений модели-оценщика.

Не превращайте финальный тест во вторую валидационную выборку. Как только вы изучили ошибки и изменили по ним конфигурацию, эти примеры уже повлияли на разработку. Оставьте их для регрессионных проверок, а для следующего финального сравнения отложите новые, ещё не использованные примеры. Универсального правила по размеру датасета здесь нет: важно, отражает ли оценка те решения, с которыми столкнётся приложение.

Наконец, сравните задержку и потребление ресурсов развёрнутой системы под ожидаемой рабочей нагрузкой. Экономия обучаемых параметров в LoRA не доказывает ускорения инференса. Сохраните прошедшую проверку версию базы и адаптера, предусмотрите версию для отката и после выпуска отслеживайте те же категории ошибок.

Какие ожидания от LoRA завышены?

«Дешёвое дообучение» означает более узкую оптимизацию, чем «дешёвая адаптация под задачу». Вам всё ещё нужны проверенные примеры, оценка, инфраструктура инференса и сопровождение. Ни меньший чекпойнт, ни журнал успешно завершённого обучения не доказывают, что приложение стало лучше.

Замороженные веса не означают неизменное поведение. Адаптер специально меняет ответы модели, поэтому общие способности, поведение при отказе от ответа и качество ответов всё равно требуют регрессионных проверок. Удаление адаптера позволяет вернуться к базовым вычислениям; активный адаптер не гарантирует, что ответы на остальные запросы останутся прежними.

LoRA не гарантирует качество на уровне полного дообучения. Исходная статья показывает сильные результаты на рассмотренных в ней задачах. Это свидетельство в пользу метода, а не доказательство его универсальной эквивалентности полному дообучению. Если тщательно оценённый адаптер всё ещё не выполняет требования, разберитесь с данными, базовой моделью и задачей, прежде чем считать более масштабное обучение решением.

Не существует универсального идеального ранга, числа примеров или оценки в GPU-часах. Архитектура модели, длина последовательности, целевые модули и сама задача меняют условия эксперимента. Начните с документированной конфигурации, а следующие изменения обосновывайте результатами валидации.

Частые вопросы о дообучении LoRA

Что такое дообучение с LoRA?

Это обучение добавленных матриц низкого ранга при замороженных исходных весах базовой модели. Обученный адаптер меняет базовые вычисления и, если веса не объединены, нуждается в этой базовой модели для инференса.

Правда ли, что дообучение признали бесполезным?

Из неудачного эксперимента или отдельного бенчмарка нельзя сделать общий вывод. Для своего приложения сравните лучший практически применимый промпт на исходной модели с дообученной моделью на отложенных примерах. Если нужное поведение не улучшилось, не выпускайте её.

Сколько стоит дообучение?

Стоимость зависит от модели, объёма обрабатываемых данных, конфигурации обучения и организации инференса. LoRA уменьшает число обучаемых параметров, но не отменяет подготовку данных, оценку и хостинг. Сначала выберите поддерживаемый путь обучения и развёртывания, затем изучите его действующие опубликованные тарифы. Полезной универсальной цены за обучение не существует.

Как выглядит пример дообучения?

Обучение на проверенных сообщениях в поддержку, для каждого из которых указаны правильная категория, действие по эскалации и формат ответа. Примеры учат повторяющейся схеме принятия решений; актуальные данные клиента по-прежнему нужно передавать во время запроса.

Актуально ли дообучение сейчас?

Да. Together AI, Fireworks AI, Hugging Face PEFT и Unsloth описывают действующие способы обучения. Подойдёт ли оно вам, зависит от ошибок, которые остаются после настройки промптов и, при необходимости, поиска.

Как дообучить модель?

Определите метрику задачи, зафиксируйте исходный результат, подготовьте раздельные данные для обучения и оценки, выберите поддерживаемую модель и конфигурацию, проведите обучение и выберите вариант по результатам валидации. Перед развёртыванием сравните его с исходным вариантом на закрытом тесте. Проверьте также развёрнутый артефакт.

Что такое PEFT и LoRA?

PEFT означает дообучение с эффективным использованием параметров — семейство методов, обучающих ограниченный набор параметров. Hugging Face PEFT — также название библиотеки, реализующей эти методы. LoRA — один из методов этого семейства.

Какие модели можно дообучать?

Сверяйтесь с точным списком поддерживаемых моделей вашего облачного провайдера или открытого стека обучения и с лицензией модели. Поддержку обучения, инференса с адаптером и доступность базовых весов нужно проверять отдельно. Одного названия семейства недостаточно.

Как ещё называют fine-tuning?

В этом контексте — адаптацией под задачу или продолжением обучения на целевых примерах. Промпт-инжиниринг меняет инструкции, передаваемые во время инференса; дообучение меняет обученные параметры.

С чего начать на практике

На следующей неделе возьмите повторяющуюся ошибку из приложения, которое уже используете, и превратите её в явный приёмочный тест. Соберите проверенные примеры, сгруппируйте связанные случаи до разбиения данных на выборки и измерьте результат с лучшим промптом. Если при таком подходе остаётся устойчивая ошибка поведения, выберите документированный вариант LoRA, результат которого сможете использовать для инференса. Запускайте обучение только после того, как примете эти решения.

Чтобы получать практические руководства по созданию и оценке систем ИИ, подпишитесь на рассылку.