Генерация синтетических данных: от примеров к обучению и тестам

Документация провайдеров и условия использования результатов генерации проверены 22 октября 2026 года. Примеры обращений в поддержку и размеры пилотной выборки ниже придуманы для объяснения процесса. Это не результаты эксперимента с моделью.

Что такое генерация синтетических данных?

Генерация синтетических данных — это создание искусственных записей или примеров под определённую задачу. При работе с большой языковой моделью, или LLM, обычно речь идёт о текстах: обращениях в поддержку, парах «вопрос — ответ», примерах извлечения информации или диалогах. Их создают по спецификации и небольшому набору одобренных примеров.

Представьте автомобильный тренажёр. На нём можно снова и снова отрабатывать сложный перекрёсток, не дожидаясь такой ситуации на дороге. Но успех на тренажёре не показывает, как часто этот перекрёсток встречается в реальном потоке, и не доказывает готовность к любой дороге. Синтетические датасеты дают ту же полезную возможность разделить охват тренировочных ситуаций и данные о реальном мире.

Способ генерации имеет значение. Генератор на основе правил выполняет заданные условия: например, сумма заказа должна совпадать с суммой его позиций. Синтезатор табличных данных изучает закономерности между столбцами. LLM создаёт текст на основе промпта и переданного контекста. Эти подходы можно сочетать: код формирует корректный заказ, а LLM пишет жалобу покупателя на этот заказ.

Синтетические данные также отличаются от маскирования записей. Если заменить имя клиента, остальная его история останется прежней. Аугментация меняет существующий пример — например, перефразирует вопрос, — но полученные варианты сохраняют связь с исходником. Ни одна из этих операций сама по себе не обеспечивает конфиденциальность записи и не создаёт независимых данных для оценки.

Оценка качества: проверяйте ответы независимо от генератора

В разработке приложений синтетические проверочные наборы особенно полезны для известных проблемных ситуаций: неполной информации, противоречивых инструкций, неподдерживаемых запросов и необычных формулировок. Такая оценка, или eval, — это воспроизводимая проверка поведения системы.

Если помощник службы поддержки должен уточнять неоднозначные проблемы с аккаунтом, намеренно генерируйте неоднозначные обращения. Ожидаемое действие должен проверить человек, сверившись с правилами. Уверенный тон ответа генератора ещё не делает этот ответ эталоном.

По возможности храните отдельный проверочный набор из реальных обращений, которые разрешено использовать. Если такой возможности нет, поручите специалисту, знакомому с задачей, независимо написать проверочные примеры. Они помогут проверить соответствие спецификации, но не покажут точность на всей совокупности запросов в рабочей системе.

Дообучение: учите модель конкретному поведению

При адаптации модели синтетические примеры помогают показать формат, правило классификации или стиль ответа, которых не хватает в имеющихся данных. Дообучение, или fine-tuning, — это изменение модели в ходе обучения на примерах.

Начните с наблюдаемой ошибки: например, модель постоянно направляет неоднозначные обращения в отдел оплаты. Добавьте проверенные примеры с неоднозначностью и сравните дообученную модель с текущим базовым вариантом на нетронутых примерах. Сам по себе рост обучающего файла не служит показателем успеха.

Переходите к процессу дообучения, когда задача и набор для приёмки уже определены и стабильны. Если проблема в недостающих или меняющихся фактах, сначала исправьте контекст, который получает приложение, и лишь затем решайте, стоит ли учить модель фактам через сгенерированные ответы.

Генерация тестовых данных для ПО

При разработке ПО синтетические тестовые данные должны заставлять приложение проверять свои правила: обрабатывать отсутствующие поля, повторные отправки, необычную длину текста, недопустимые переходы между состояниями и связанные записи в базе.

Для тестирования оформления покупки нужны корректные связи между заказами, клиентами и платежами. Языковая модель не должна придумывать арифметику. Задайте ограничения в коде, а LLM используйте там, где важен реалистичный текст: например, для примечания к доставке, которое противоречит адресу получателя.

При покупке датасета стоит выяснить, какую именно из этих задач он решает. Набор для демонстрации необязательно пригоден для обучения, а обучающий корпус не становится проверочным набором автоматически.

Практический пример: от исходных образцов к проверенным кандидатам

Начните с узкой задачи, для которой можете объяснить правильный ответ без помощи генератора. В этом примере мы подготовим кандидатов для классификации вымышленных обращений в поддержку по категориям billing, access и human_review.

Условные правила просты: проблемы с оплатой и счетами относятся к категории billing; со входом и паролем — к access; неясные запросы и обращения, объединяющие обе темы, передаются на проверку человеку. Не домысливайте факты, которых клиент не сообщил.

Примеры синтетических данных: шесть образцов с явными метками

Покажите границы категорий на этих специально составленных примерах:

• «С моей карты дважды списали деньги». → billing
• «В этом счёте указан не тот тариф». → billing
• «Ссылка для сброса пароля больше не действует». → access
• «После сброса пароля не могу войти». → access
• «Я заплатил, но войти не могу». → human_review
• «Всё ещё не работает». → human_review

Последние примеры не менее важны, чем очевидные. Они показывают генератору, что неопределённость — допустимый результат. В руководстве по few-shot prompting разобрано, как примеры передают правила, которые общая инструкция может оставить неясными.

После очистки кандидат может выглядеть так. Это иллюстративная запись, а не сохранённый ответ API:

{
  "case_id": "billing-frustrated-indirect-a",
  "text": "Another invoice with the wrong plan, seriously?",
  "proposed_label": "billing",
  "policy_reason": "The customer identifies an invoice problem."
}

Главный результат — проверенный пример с прослеживаемым происхождением. Выдал ли генератор всё запрошенное количество с первого раза, вторично. Не пополняйте неудачную ячейку только ради планового числа строк.

Генераторы синтетических данных: что обещает документация

Выбирайте инструмент по той части процесса, за которую он отвечает. API модели — это интерфейс, через который код запрашивает результаты генерации; сервис пакетной обработки организует выполнение этих запросов. Библиотека для работы с датасетами управляет генерацией и обратной связью. Синтезатор табличных данных изучает зависимости в структурированных данных. Ни одна из этих функций не заменяет критерии приёмки.

Генеративный ИИ для синтетических данных: API пакетной обработки

OpenAI API предлагает Batch для асинхронных запросов, передаваемых в файле JSONL: по одному объекту JSON на строку. Документация требует уникального custom_id и предупреждает, что порядок результатов может отличаться от порядка запросов. Сопоставляйте результаты по идентификатору, затем проверяйте ошибки и незавершённые генерации, прежде чем разбирать кандидатов. Документация OpenAI Batch.

Claude API от Anthropic предлагает Message Batches для независимых запросов Messages. В результатах отдельно отмечаются успешные, ошибочные, отменённые запросы и запросы с истёкшим сроком выполнения; custom_id связывает каждый результат с исходным запросом. Здесь важно ограничение самого процесса: приём пакета не означает, что все примеры были сгенерированы. Повторно запускайте недостающие запросы по идентификаторам, а не генерируйте весь датасет заново. Документация пакетной обработки Claude.

Gemini API от Google предлагает Batch с передачей объектов запросов напрямую или через загруженный файл JSONL. В файловом варианте запросы содержат key, который позволяет найти соответствующий результат. Для более крупных датасетов, создаваемых вне интерактивного режима, используйте файл. Срок обработки в документации указан как целевой, поэтому не стройте интерактивный процесс в расчёте на немедленное завершение. Документация Gemini Batch.

Ниже приведены ограничения пакетов, влияющие на разбиение работы на задания. Они проверены по документации, на которую ведут ссылки. Это не ограничения общего размера датасета, который можно собрать за несколько заданий.

Запрос внутри пакета и пример-кандидат — разные единицы учёта. Если каждый успешный запрос возвращает несколько кандидатов, отслеживайте оба количества. Наряду с ошибками передачи фиксируйте ошибки разбора, отказы модели и обрезанные ответы. Успешный HTTP-ответ ещё не означает, что строка пригодна для обучения.

Distilabel: организация генерации и обратной связи

Distilabel — фреймворк для синтетических данных и обратной связи от ИИ. Он объединяет генерацию, оценку и обработку данных в конвейеры. В документации описаны сценарии классификации, извлечения информации, диалогов и генерации инструкций. Он полезен, когда разовый скрипт разрастается до нескольких этапов генерации и фильтрации. Документация Distilabel.

Проект распространяется по лицензии Apache-2.0. В репозитории также указано, что первоначальные авторы больше им не занимаются, а поддержку ведут участники сообщества. Зафиксируйте выбранную версию и проверьте её. Главное практическое ограничение остаётся прежним: организация оценок модели в конвейер не делает эти оценки независимыми или правильными. Репозиторий Distilabel.

Faker: тестовые данные без языковой модели

Faker — пакет Python, который создаёт вымышленные данные с помощью провайдеров генерации. Он поддерживает локали и задание начального значения генератора случайных чисел. Faker удобен для подготовки тестовых данных приложения, когда нужны управляемые значения полей, а не рассуждения на естественном языке. В репозитории указана лицензия MIT. Документация Faker, репозиторий Faker.

Связи, заданные бизнес-логикой, всё равно придётся описать самостоятельно. Независимо сгенерированные адреса, даты и транзакции не образуют реалистичную историю клиента. По возможности используйте зарезервированные тестовые идентификаторы и домены и не допускайте, чтобы тестовые данные запускали отправку сообщений или другие действия в рабочей системе.

Synthetic Data Vault: таблицы и связи между ними

Synthetic Data Vault, или SDV, предлагает синтез табличных данных и статистическую оценку. В документации описаны подходы для отдельных таблиц, последовательных данных и связанных таблиц. Обученные синтезаторы изучают предоставленные вами данные; они не отменяют необходимость иметь исходный датасет, который разрешено использовать. Документация SDV.

В SDV GaussianCopulaSynthesizer использует классические статистические методы для изучения распределений в столбцах и связей между ними. CTGANSynthesizer использует генеративно-состязательную сеть — модель, которая обучается за счёт взаимодействия генератора и конкурирующего с ним дискриминатора. Оба принимают данные и метаданные с описанием их структуры. Это синтезаторы таблиц, а не универсальные чат-модели. Документация Gaussian Copula, документация CTGAN.

Ограничение здесь — соответствие задаче. Похожесть распределений в столбцах не доказывает, что сохранились редкие сочетания, правила связей между таблицами или поведение модели, использующей эти данные. Проверяйте зависимости, на которые опирается приложение, включая внешние ключи, связывающие дочерние записи с родительскими.

Как выбрать генератор синтетических данных под задачу

Используйте API модели, если не хватает языкового разнообразия. Добавляйте Distilabel, когда воспроизводимая организация генерации и обратной связи оправдывает дополнительную зависимость. Выбирайте Faker, когда для тестовых данных нужны управляемые значения. Рассмотрите SDV, если важны статистические связи между таблицами и у вас есть исходные данные, которые разрешено моделировать.

Более мощный генератор не исправит неясные правила разметки. С ними нужно разобраться до выбора любого из этих инструментов.

Что разрешают провайдеры при обучении на результатах генерации

До выбора модели-учителя — модели, которая создаёт примеры для обучения другой модели, — проверьте ограничения на использование её ответов. Ниже кратко изложены стандартные условия трёх упомянутых облачных LLM-провайдеров. Это не заключение о том, соответствует ли им конкретный проект обучения.

• OpenAI: Services Agreement ограничивает использование результатов для разработки конкурирующих моделей ИИ. Указаны исключения для моделей, основная задача которых — категоризация, классификация или упорядочивание данных и которые не распространяются и не предоставляются третьим лицам на коммерческой основе, а также для настройки моделей через указанные сервисы OpenAI. Условия Services Agreement.
• Anthropic: Commercial Terms запрещают обращаться к сервисам для создания конкурирующих продуктов или услуг, в том числе для обучения конкурирующих моделей ИИ, без прямого разрешения Anthropic. Коммерческие условия.
• Google: дополнительные условия Gemini API запрещают использовать сервисы для разработки конкурирующих моделей. Положения о Google Search Grounding отдельно запрещают обучение на Grounded Results и Search Suggestions. Условия Gemini API.

Лицензия библиотеки, условия вызываемой ею модели, лицензия весов модели и ваши права на исходные примеры — отдельные вопросы. Одного права собственности на результат генерации недостаточно, чтобы закрыть их все.

Конфиденциальность тестовых данных нужно проверять отдельно

Синтетическое происхождение не гарантирует конфиденциальность. Если загрузить конфиденциальные записи в неразрешённый сервис генерации, последующее создание вымышленных замен не отменит уже состоявшуюся передачу данных.

В исследовании публикации синтетических данных Stadler, Oprisanu и Troncoso обнаружили, что выигрыш в конфиденциальности и полезность различались у проверенных ими моделей. Практический вывод: нужно оценивать и выпускаемые данные, и процесс генерации, а не считать слово «синтетические» свидетельством анонимности. Исследование USENIX.

Если для тестирования ПО достаточно вымышленных примеров, составляйте их по утверждённой схеме и правилам. Когда необходимо сохранить реальные статистические закономерности, обрабатывайте исходные данные в разрешённой среде и оценивайте, какую информацию может раскрыть сгенерированный датасет.

Проверяйте прямые идентификаторы, скопированные фрагменты, редкие сочетания и возможность связать записи со сведениями, которые кому-то уже известны. Замена имени не обязательно скроет человека, если сохранить характерный инцидент, место и дату. Для публикаций с чувствительными данными недостаточно нескольких ручных проверок и поиска дубликатов: оценка конфиденциальности должна учитывать угрозу и предполагаемых получателей.

Политика провайдера в отношении обучения отвечает на другой вопрос, чем ваше право обучать модели на его ответах. Например, условия бесплатных сервисов Gemini предупреждают, что чувствительную информацию отправлять не следует, а условия платных сервисов об использовании данных указывают, что промпты и ответы не используются для улучшения продуктов Google. При бесплатном использовании в ЕЭЗ, Швейцарии и Великобритании также применяются правила использования данных для платных сервисов. Условия Gemini об использовании данных.

Ни обязательство провайдера не обучаться на данных, ни локальный запуск не доказывают, что полученный датасет безопасно передавать другим. Сохраняйте сведения о происхождении и ограничения доступа до завершения проверки перед выпуском.

Какие ожидания от синтетических данных завышены?

Самое сильное преувеличение — представление, будто нехватку данных для объективной оценки можно восполнить количеством сгенерированных строк. Они помогают расширить охват практических примеров и обнаружить ошибки, но могут и многократно воспроизвести одни и те же предположения.

Разные слова могут скрывать одинаковые ситуации

Предложения в датасете могут различаться, а набор ситуаций оставаться крошечным. Отслеживайте охват после фильтрации: какие бизнес-правила, неоднозначности и проблемные сценарии всё ещё представлены?

В примере с поддержкой повторяющиеся жалобы на счета не компенсируют отсутствие обращений, совмещающих оплату и проблемы со входом. Проверяйте ближайшие по смыслу примеры, а также отклонённые записи наряду с принятыми. Слишком строгий фильтр качества может незаметно убрать именно те сложные случаи, ради которых вы затеяли генерацию.

Перефразирование не устраняет предвзятость

Не рассчитывайте, что перефразировка предвзятого исходного примера избавит его от заложенных предположений. Проверяйте выбор меток для разных стилей речи, диалектов, уровней грамотности и значимых для задачи групп пользователей. Раздражённое обращение или текст с ошибками не должны направляться в другую категорию, если правила этого не предусматривают.

Попросите проверяющих сравнить парные случаи, в которых меняется только несущественный для задачи признак. Если метки различаются, разберите вместе исходный пример, промпт и фильтр. Генератор и модель-судья могут закреплять одну и ту же ошибку.

Модель убедительно оценивает собственную работу — и всё равно ошибается

Zheng и коллеги описали у LLM-судей предвзятость, связанную с порядком ответов, их многословием и предпочтением собственных результатов. Модель может поощрять формулировку или подачу вместо свойства, которое вы хотели измерить. Исследование LLM-as-a-judge.

Везде, где ответ можно проверить механически, используйте детерминированные проверки. Для субъективных оценок калибруйте судью по решениям людей, по возможности скрывайте, кто сгенерировал пример, и разбирайте расхождения. Смена провайдера модели-судьи может уменьшить одну общую зависимость, но не гарантирует независимости ошибок.

В руководстве по LLM-as-a-judge объясняется, как проверить оценщика, прежде чем доверять его баллам. При генерации синтетических данных это нужно сделать до того, как судья начнёт решать, какие примеры станут эталонами для обучения.

Коллапс модели — конкретный риск, а не приговор любым синтетическим данным

Shumailov и коллеги исследовали рекурсивное обучение на сгенерированных данных и показали, как могут исчезать менее распространённые части исходного распределения. Это основание осторожно относиться к многократной замене исходных данных производными самой модели. Но исследование не доказывает, что любое дообучение на проверенных синтетических данных под конкретную задачу обречено на неудачу. Исследование в Nature.

Сохраняйте исходные данные, которые разрешено использовать, намеренно удерживайте редкие случаи и сравнивайте поведение итоговой системы с нетронутым базовым вариантом. Универсального соотношения синтетических и реальных данных, которое заменило бы такую оценку, нет.

Что изменить в работе уже в понедельник

Начинайте сейчас, если можете назвать недостающий случай, описать правильное поведение и проверить сгенерированных кандидатов по стабильному правилу. Начните с небольшой матрицы охвата и расширяйте только те ячейки, которые дают полезные примеры.

Отложите дообучение, если проверяющие расходятся в целевых метках или у вас нет независимого набора для приёмки. Сначала разберитесь с правилами и оценкой.

Используйте обычные тестовые данные, если задача — заполнение базы, проверка граничных значений или целостности транзакций. Добавляйте сгенерированный текст только там, где он проверяет поведение, которое не удаётся проверить более простыми данными.

Перед следующим выпуском сравните базовую и изменённую системы на одних и тех же нетронутых примерах. Для классификатора обращений разберите по категориям ошибочную маршрутизацию и пропущенные передачи человеку. Оставляйте синтетические данные только тогда, когда они улучшают нужное поведение без неприемлемого ухудшения в других случаях.

Вопросы о синтетических данных

Подпишитесь на рассылку, чтобы получать практические руководства по созданию и оценке систем ИИ.