Synthetische Daten: Trainings- und Testfälle richtig aufbauen

Synthetische Daten für LLM-Evals, Fine-Tuning und Softwaretests: mit Praxisbeispiel, Toolvergleich, Qualitätsprüfung, Datenschutz und Nutzungsbedingungen.

Veröffentlicht am

Synthetische Daten: Trainings- und Testfälle richtig aufbauen

Synthetische Daten helfen, wenn zusätzliche Fälle fehlen. Generierte Beispiele sind allerdings kein unabhängiger Beleg dafür, dass ein System funktioniert. Dafür müssen 3 Aufgaben getrennt bleiben: Verhalten evaluieren, Verhalten durch Fine-Tuning trainieren und Softwaretests mit Daten versorgen. Jede dieser Aufgaben braucht eigene Abnahmekriterien.

Anbieterdokumentation und Bedingungen zur Nutzung von Ausgaben geprüft am 22. Oktober 2026. Die folgenden Supporttickets und Größenangaben für den Pilotdurchlauf sind eigens entwickelte Beispiele, keine Ergebnisse eines durchgeführten Modellexperiments.

Was sind synthetische Daten, und wie entstehen sie?

Synthetische Daten, auch Synthetic Data genannt, sind künstlich erzeugte Datensätze oder Beispiele für einen festgelegten Zweck. Bei der Entwicklung mit einem großen Sprachmodell, kurz LLM, geht es meist um Texte: etwa Supportanfragen, Frage-Antwort-Paare, Extraktionsbeispiele oder Dialoge. Grundlage sind eine Spezifikation und eine kleine Auswahl freigegebener Beispiele.

Ein Fahrsimulator macht das Prinzip anschaulich. Dort lässt sich eine schwierige Kreuzung immer wieder üben, ohne im Straßenverkehr auf dieselbe Situation warten zu müssen. Eine bestandene Simulatorprüfung zeigt aber weder, wie häufig diese Kreuzung im Verkehr vorkommt, noch beweist sie, dass jede Straße beherrscht wird. Synthetische Datensätze ermöglichen dieselbe nützliche Trennung zwischen abgedeckten Übungssituationen und Belegen über die reale Welt.

Entscheidend ist das Erzeugungsverfahren. Ein regelbasierter Generator befolgt Vorgaben, etwa dass die Gesamtsumme einer Bestellung der Summe ihrer Positionen entsprechen muss. Ein Generator für synthetische Tabellendaten lernt Muster über mehrere Spalten hinweg. Ein LLM erzeugt Sprache auf Basis eines Prompts und des mitgegebenen Kontexts. Diese Verfahren lassen sich kombinieren: Code erstellt eine gültige Bestellung, das LLM formuliert dazu die Kundenbeschwerde.

Synthetische Daten zu erzeugen ist etwas anderes, als einen bestehenden Datensatz zu maskieren. Wer einen Kundennamen ersetzt, lässt den Rest der Geschichte unverändert. Bei der Datenaugmentation wird ein vorhandenes Beispiel abgewandelt, etwa indem eine Frage umformuliert wird. Die Varianten bleiben mit ihrer Quelle verwandt. Keines dieser Verfahren schützt automatisch die Privatsphäre oder schafft unabhängige Belege.

Evals: Schwierige Fälle mit unabhängig geprüften Antworten

Bei der Anwendungsentwicklung helfen synthetische Evals vor allem gegen bekannte Fehlermuster: fehlende Informationen, widersprüchliche Anweisungen, nicht unterstützte Anliegen oder ungewöhnliche Formulierungen. Ein Eval ist ein wiederholbarer Test des Systemverhaltens.

Soll ein Supportassistent bei unklaren Kontoproblemen nachfragen, werden gezielt mehrdeutige Anfragen erzeugt. Eine prüfende Person gleicht die erwartete Reaktion mit den Vorgaben ab. Die Antwort des Generators darf nicht allein deshalb zur Musterlösung werden, weil sie überzeugend klingt.

Daneben gehört ein separater Evaluierungsdatensatz aus realen Anfragen, sofern diese verfügbar sind und verwendet werden dürfen. Ist das nicht möglich, können fachkundige Personen unabhängig eigene Testfälle verfassen. Damit lässt sich die Spezifikation prüfen. Die Genauigkeit über die gesamte Population im Produktivbetrieb lässt sich daraus nicht ableiten.

Fine-Tuning: KI-Trainingsdaten für gezieltes Verhalten

Bei der Anpassung eines Modells können synthetische Beispiele ein Format, eine Klassifikationsregel oder einen Antwortstil vermitteln, der in den vorhandenen Daten zu selten vorkommt. Fine-Tuning bedeutet, ein Modell durch Training mit Beispielen zu verändern.

Ausgangspunkt sollte ein beobachtbarer Fehler sein: Das Modell leitet etwa mehrdeutige Tickets immer wieder an die Abrechnung weiter. Dann werden geprüfte Beispiele für solche Mehrdeutigkeiten ergänzt und das angepasste Modell anhand unangetasteter Beispiele mit dem bisherigen Referenzmodell verglichen. Eine größere Trainingsdatei ist für sich genommen kein Erfolgsmaß.

Der Fine-Tuning-Workflow ist der nächste Schritt, sobald Aufgabe und Abnahmedatensatz stabil sind. Fehlt dagegen Faktenwissen im Kontext oder ändert es sich laufend, sollte zuerst der Kontext der Anwendung verbessert werden, bevor generierte Antworten dem Modell Fakten beibringen sollen.

Synthetische Testdaten für Software erzeugen

In der Softwareentwicklung sollen synthetische Testdaten die Regeln einer Anwendung auf die Probe stellen: fehlende Felder, doppelte Eingaben, ungewöhnliche Textlängen, ungültige Zustandsübergänge und verknüpfte Datenbankeinträge.

Ein Test des Bestellabschlusses braucht gültige Beziehungen zwischen Bestellungen, Kunden und Zahlungen. Dafür muss kein Sprachmodell die Rechenoperationen erfinden. Diese Bedingungen gehören in den Code. Ein LLM kommt dort hinzu, wo realistische Sprache einen Mehrwert bietet, etwa bei einem Lieferhinweis, der der Versandadresse widerspricht.

Wer einen Datensatz einkauft, sollte klären, welcher dieser Aufgaben er dient. Ein Datensatz für eine Demo eignet sich nicht zwangsläufig zum Training, und ein Trainingskorpus ist nicht automatisch ein Evaluierungsdatensatz.

Praxisbeispiel: Von Ausgangsbeispielen zu geprüften Kandidaten

Am Anfang steht eine eng umrissene Aufgabe, deren korrekte Antworten sich ohne Rückfrage beim Generator erklären lassen. In diesem Beispiel entstehen Kandidaten für die Zuordnung fiktiver Supporttickets zu billing, access oder human_review.

Die fiktiven Regeln sind einfach: Zahlungs- und Rechnungsprobleme gehören zur Abrechnung, Anmelde- und Passwortprobleme zum Zugang. Unklare Anfragen oder Anliegen aus beiden Bereichen werden von einem Menschen geprüft. Angaben, die der Kunde nicht gemacht hat, dürfen nicht hinzugedacht werden.

Sechs Ausgangsbeispiele mit eindeutigen Labels

Diese eigens verfassten Beispiele verdeutlichen die Abgrenzung:

  • „Meine Karte wurde doppelt belastet.“ → billing
  • „Auf dieser Rechnung steht der falsche Tarif.“ → billing
  • „Der Link zum Zurücksetzen ist abgelaufen.“ → access
  • „Seit ich mein Passwort zurückgesetzt habe, kann ich mich nicht mehr anmelden.“ → access
  • „Ich habe bezahlt, kann mich aber nicht anmelden.“ → human_review
  • „Es funktioniert immer noch nicht.“ → human_review

Die letzten Beispiele sind genauso wichtig wie die eindeutigen Fälle. Sie zeigen dem Generator, dass Ungewissheit ein zulässiges Ergebnis ist. Der Leitfaden zu Few-Shot-Prompting erklärt, wie Beispiele Regeln vermitteln, die in einer allgemeinen Anweisung unklar bleiben können.

  1. Quellen vor der Erzeugung von Varianten aufteilen

    Quellfamilien werden dem Training, der Entwicklung oder der abschließenden Evaluierung zugewiesen, bevor die Generierung beginnt. Zu einer Quellfamilie gehören der ursprüngliche Datensatz und seine Paraphrasen, Übersetzungen oder weiteren Dialogbeiträge. Bei dokumentbasierten Aufgaben wird nach Quelldokument gruppiert, im Support nach Gespräch oder Kunde, soweit sich dadurch Datenlecks zwischen den Teilmengen verhindern lassen.

    In diesem Beispiel gehören die sechs Ausgangsbeispiele zum Generierungspool. Eine andere Person verfasst die abschließenden Evaluierungsfälle, ohne die generierten Kandidaten zu sehen. In einem realen Projekt dürfen diese Evaluierungsdaten weder in Generierungs-Prompts noch in Filteranweisungen auftauchen.

    Findet eine spätere Dublettenprüfung Überschneidungen mit dem geschützten Evaluierungsdatensatz, wird der Trainingskandidat ausgesondert. Der verborgene Evaluierungstext darf nicht an den Generator zurückgegeben werden, um eine bessere Paraphrase anzufordern.

  2. Die Abdeckung festlegen, statt nur Vielfalt zu verlangen

    Für den Pilotdurchlauf dient ein Raster aus 3 Ziellabels, 2 Tonlagen, 2 Textlängen und 2 sprachlichen Formen. Daraus ergeben sich 24 Felder. Pro Feld werden 5 Kandidaten angefordert, insgesamt also 120 Kandidaten vor der Filterung.

    Die Varianten sind ein neutraler oder frustrierter Ton, ein einzelner Satz oder mehrere Sätze sowie eine direkte Formulierung oder eine indirekte Formulierung beziehungsweise Verneinung. Das sind Vorschläge für dieses Beispiel, keine allgemeine Empfehlung für die Größe eines Datensatzes.

    Ein Rasterfeld beschreibt, welche Art von Beispiel angefordert wird. Es garantiert nicht, dass das Modell einen passenden Kandidaten liefert. Wird eine indirekte Abrechnungsanfrage tatsächlich mehrdeutig, muss sie aus diesem Feld aussortiert oder nach Prüfung anders zugeordnet werden.

  3. Jeweils nur ein Rasterfeld generieren

    Die Regeln, die sechs Ausgangsbeispiele und das ausgewählte Rasterfeld werden gemeinsam übermittelt. Kleine Anfragen erleichtern es, einen abgelehnten Kandidaten zu der Anweisung zurückzuverfolgen, aus der er entstanden ist. Prompt, Modellkennung, Generierungseinstellungen und Kennungen der Quellfamilien werden mit dem Auftrag gespeichert.

    Für das Feld „Abrechnung, frustriert, ein Satz, indirekt“ eignet sich dieser Generierungs-Prompt:

    Erstelle 5 fiktive Supportticket-Kandidaten für einen Klassifikator zur Weiterleitung.

    Regeln: billing umfasst Zahlungs- oder Rechnungsprobleme; access umfasst Anmelde- oder Passwortprobleme; human_review umfasst unklare Anfragen oder Anfragen, die billing und access kombinieren. Ergänze niemals fehlende Fakten durch Schlussfolgerungen.

    Ausgangsbeispiele: „Meine Karte wurde doppelt belastet.“ = billing; „Auf dieser Rechnung steht der falsche Tarif.“ = billing; „Der Link zum Zurücksetzen ist abgelaufen.“ = access; „Seit ich mein Passwort zurückgesetzt habe, kann ich mich nicht mehr anmelden.“ = access; „Ich habe bezahlt, kann mich aber nicht anmelden.“ = human_review; „Es funktioniert immer noch nicht.“ = human_review.

    Gewünschtes Rasterfeld: billing; frustrierter Ton; ein Satz; indirekte Formulierung oder Verneinung. Jeder Kandidat muss eine andere Situation beschreiben und darf nicht nur Synonyme in einem Ausgangsbeispiel austauschen. Das Abrechnungsproblem muss anhand der Regeln erkennbar bleiben. Ergänze keine Namen, Kontaktdaten, Kontonummern, Unternehmensnamen oder kopierten Kundentexte.

    Gib ausschließlich ein JSON-Array zurück. Jedes Objekt muss case_id, text, proposed_label und policy_reason enthalten. proposed_label muss billing, access oder human_review sein. policy_reason soll kurz die einschlägige Regel benennen, keine verborgenen Gedankengänge beschreiben. Falls für dieses Feld nicht genügend gültige Kandidaten erzeugt werden können, gib weniger zurück. Fülle das Array nicht mit Dubletten auf.

    proposed_label bleibt ein Vorschlag. Die dazugehörige Erklärung ist kein Beleg dafür, dass die Zuordnung stimmt.

  4. Erst filtern, dann ein Modell die Qualität bewerten lassen

    Fehlerhaftes JSON, fehlende Felder, leere Texte, doppelte Fallkennungen und nicht zugelassene Labels werden verworfen. Ob der Kandidat zum angeforderten Rasterfeld passt, wird separat geprüft: Ein höflicher Absatz erfüllt die Vorgabe „frustriert, ein Satz“ nicht.

    In einer freigegebenen Umgebung wird nach personenbezogenen Identifikatoren, Geheimnissen und Überschneidungen mit geschützten Quelltexten gesucht. Eine Mustererkennung kann offensichtliche E-Mail-Adressen oder Kontonummernformate finden. Sie kann aber nicht bescheinigen, dass eine Geschichte keinerlei identifizierende Details enthält.

    Anschließend wird die Bedeutung mit den Regeln abgeglichen. „Schon wieder eine Rechnung mit dem falschen Tarif, ernsthaft?“ ist ein plausibler Kandidat für die Abrechnung. „Ich habe noch einmal bezahlt und kann mich immer noch nicht anmelden“ muss nach diesen Regeln von einem Menschen geprüft werden. Hat der Generator den zweiten Fall der Abrechnung zugeordnet, wird er verworfen, selbst wenn die Begründung überzeugend klingt.

  5. Doppelte Formulierungen und Situationen erkennen

    Groß- und Kleinschreibung sowie Leerraum werden vereinheitlicht, um textgleiche Dubletten zu erkennen. Der Originaltext bleibt für die Prüfung erhalten. Ein gemeinsamer Index enthält die normalisierten Texte der Ausgangsbeispiele und der generierten Kandidaten. Tragen identische Texte widersprüchliche Labels, wird der gesamte Konflikt bis zur Klärung ausgesondert.

    Danach folgt der Bedeutungsvergleich. Embeddings sind numerische Textrepräsentationen für die Ähnlichkeitssuche; sie können nahezu gleiche Beispiele zur Prüfung auffindbar machen. Jeder Schwellenwert muss an Beispielen der eigenen Aufgabe kalibriert werden. Einen universellen Ähnlichkeitswert, ab dem zwei Beispiele als Dublette gelten, gibt es nicht.

    Ein Paar darf nicht allein deshalb entfernt werden, weil die Wörter ähnlich sind. „Ich kann mich anmelden“ und „Ich kann mich nicht anmelden“ liegen auf verschiedenen Seiten der Entscheidungsgrenze. Umgekehrt können viele unterschiedlich formulierte Beschwerden über denselben abgelaufenen Rücksetzlink kaum zusätzliche Situationen abdecken.

  6. Menschliche Entscheidungen stichprobenartig prüfen und nach Verwendungszweck freigeben

    Im Pilotdurchlauf ordnet eine prüfende Person aus jedem Rasterfeld einen zufällig ausgewählten verbliebenen Kandidaten einem Label zu, insgesamt bis zu 24 Beispiele. Label und Begründung des Generators bleiben dabei verborgen. Zusätzlich werden alle markierten Meinungsverschiedenheiten, Warnungen zu sensiblen Inhalten und Grenzfälle der Regeln geprüft.

    Zeigt die Prüfung einen wiederkehrenden Fehler, wird das betroffene Rasterfeld gesperrt. Seine Anweisungen werden korrigiert und die neu erzeugten Ergebnisse geprüft. Nur die Zeile aus der Stichprobe zu reparieren und die übrigen Beispiele für korrekt zu halten, reicht nicht. Diese Stichprobe dient der Fehlersuche; sie ist keine statistische Zusicherung, dass der Datensatz fehlerfrei ist.

    Vor der Freigabe wird jede erwartete Antwort, die in einen abschließenden Eval-Datensatz eingeht, manuell verifiziert. Bei Trainingskandidaten richten sich Prüftiefe und Abnahmeschwelle nach den Folgen eines Fehlers. Dokumentiert werden die Zahl akzeptierter Beispiele je Rasterfeld, Ablehnungsgründe, Prüfentscheidungen und die Datensatzversion. Generierte Eval-Testfälle bleiben vom unangetasteten Datensatz getrennt, an dem Fortschritt gemessen wird.

Architektonischer Schnitt mit getrennten Quellfamilien: ein Trainingszweig mit Varianten und ein isolierter Tresor für den Holdout-Datensatz
Quellfamilien vor der Generierung aufteilen. Der Holdout-Datensatz bleibt außerhalb der Generierungs- und Optimierungsschleife.

Ein bereinigter Kandidat könnte so aussehen. Der Datensatz dient der Veranschaulichung und ist keine aufgezeichnete API-Ausgabe:

JSON
{
  "case_id": "billing-frustrated-indirect-a",
  "text": "Another invoice with the wrong plan, seriously?",
  "proposed_label": "billing",
  "policy_reason": "The customer identifies an invoice problem."
}

Entscheidend ist ein nachvollziehbarer, geprüfter Fall. Ob der Generator anfangs alle angeforderten Kandidaten geliefert hat, ist zweitrangig. Ein schwaches Rasterfeld darf niemals nur deshalb aufgefüllt werden, um die Zielanzahl zu erreichen.

Tools für synthetische Daten: Was die Dokumentation zusagt

Bei der Auswahl zählt, welchen Teil des Prozesses ein Tool übernimmt. Eine Modell-API ist die Schnittstelle, über die der eigene Code Modellausgaben anfordert; ihr Batch-Dienst plant die Verarbeitung dieser Anfragen. Eine Datensatzbibliothek organisiert Generierung und Feedback. Ein Generator für synthetische Tabellendaten lernt Zusammenhänge in strukturierten Daten. Keine dieser Funktionen ersetzt eigene Abnahmekriterien.

Synthetic Data Generation mit generativer KI: Die Batch-APIs

Die OpenAI API bietet Batch für asynchrone Anfragen, die als JSONL-Datei eingereicht werden, also mit einem JSON-Objekt pro Zeile. Laut Dokumentation ist eine eindeutige custom_id erforderlich; die Reihenfolge der Ausgaben kann von der Reihenfolge der Eingaben abweichen. Ergebnisse werden deshalb über ihre Kennung zugeordnet. Vor dem Einlesen der Kandidaten sind Fehler und unvollständige Generierungen zu prüfen. Dokumentation zu OpenAI Batch.

OpenAI-Dokumentation zum Einreichen und Abrufen asynchroner Batch-Anfragen
OpenAI API: Batch

Die Claude API von Anthropic bietet Message Batches für voneinander unabhängige Messages-Anfragen. Die Ergebnisse unterscheiden zwischen erfolgreichen, fehlerhaften, abgebrochenen und abgelaufenen Anfragen. Über custom_id wird jedes Ergebnis seiner Eingabe zugeordnet. Entscheidend ist hier der Betrieb: Ein angenommener Batch belegt nicht, dass jedes Beispiel vollständig erzeugt wurde. Fehlende Verarbeitungsschritte werden anhand ihrer Kennung erneut angefordert, statt den ganzen Datensatz neu zu generieren. Dokumentation zur Batch-Verarbeitung mit Claude.

Claude-Dokumentation zu Message Batches und den Ergebnissen einzelner Anfragen
Claude API: Message Batches

Die Gemini API von Google unterstützt Batch mit direkt eingebetteten Anfrageobjekten oder einer hochgeladenen JSONL-Datei. Dateibasierte Anfragen enthalten einen key, der das zugehörige Ergebnis identifiziert. Für größere offline verarbeitete Datensätze bietet sich die Dateiübermittlung an. Die dokumentierte Bearbeitungszeit ist ein Zielwert; ein interaktiver Workflow sollte daher nicht auf sofortige Fertigstellung angewiesen sein. Dokumentation zu Gemini Batch.

Gemini-Dokumentation zur Batch-Übermittlung mit eingebetteten Anfragen und per Datei
Gemini API: Batch

Diese in der verlinkten Dokumentation geprüften Batch-Grenzen bestimmen, wie Aufträge aufgeteilt werden müssen. Sie begrenzen nicht die Gesamtgröße eines Datensatzes, der über mehrere Aufträge entsteht.

APIGrenze pro EinreichungZeitrahmenErgebniszuordnung über
OpenAI Batch50,000 Anfragen; 200 MB EingabedateiAbschlussfenster von 24 Stunden; unfertige Anfragen können ablaufencustom_id
Claude Message Batches100,000 Anfragen oder 256 MB, je nachdem, welche Grenze zuerst erreicht wirdLäuft nach 24 Stunden abcustom_id
Gemini BatchEingebettete Anfragen unter 20 MB; Eingabedatei bis zu 2 GBAngestrebte Bearbeitungszeit: 24 Stundenkey der Dateianfrage

Eine Batch-Anfrage und ein generiertes Beispiel sind unterschiedliche Zähleinheiten. Liefert jede erfolgreiche Anfrage mehrere Kandidaten, müssen beide Anzahlen erfasst werden. Neben Übertragungsfehlern gehören auch Parsingfehler, verweigerte Antworten und abgeschnittene Ausgaben ins Protokoll. Eine erfolgreiche HTTP-Antwort allein ergibt noch keinen brauchbaren Trainingsdatensatz.

Distilabel: Generierung und Feedback organisieren

Distilabel ist ein Framework für synthetische Daten und KI-Feedback. Es verbindet Generierungs-, Evaluierungs- und Datenverarbeitungsschritte zu Pipelines. Die Dokumentation beschreibt Anwendungsfälle für Klassifikation, Extraktion, Dialoge und die Erzeugung von Instruktionen. Das hilft, wenn aus einem einmaligen Skript mehrere Generierungs- und Filterstufen geworden sind. Distilabel-Dokumentation.

Distilabel-Dokumentation zu Pipelines für synthetische Daten und KI-Feedback
Distilabel

Das Projekt steht unter der Apache-2.0-Lizenz. Im Repository wird außerdem darauf hingewiesen, dass die ursprünglichen Autoren das Projekt verlassen haben und Mitwirkende aus der Community es betreuen. Die eingesetzte Version sollte festgeschrieben und geprüft werden. Die praktische Grenze liegt weiterhin bei der Bewertung: Die Steuerung eines Modellurteils macht dieses Urteil weder unabhängig noch korrekt. Distilabel-Repository.

Faker: Testdaten ohne Sprachmodell erzeugen

Faker ist ein Python-Paket, das über sogenannte Provider fiktive Daten erzeugt, verschiedene Ländereinstellungen unterstützt und das Setzen eines Zufallsseeds ermöglicht. Es eignet sich für Testdaten einer Anwendung, wenn kontrollierte Feldwerte statt Schlussfolgerungen in natürlicher Sprache gebraucht werden. Das Repository nennt MIT als Lizenz. Faker-Dokumentation, Faker-Repository.

Dokumentation des Python-Pakets Faker mit Providern und Beispielen für generierte Felder
Faker

Fachliche Zusammenhänge müssen weiterhin selbst im Code abgebildet werden. Unabhängig erzeugte Adressen, Datumsangaben und Transaktionen ergeben noch keine realistische Kundenhistorie. Nach Möglichkeit sollten reservierte Testkennungen und Testdomains verwendet werden. Generierte Testdaten dürfen keine Nachrichten oder andere Aktionen im Produktivbetrieb auslösen.

Synthetic Data Vault: Tabellen und ihre Beziehungen modellieren

Synthetic Data Vault, kurz SDV, bietet die Erzeugung synthetischer Tabellendaten und deren statistische Bewertung. Dokumentiert sind Verfahren für einzelne Tabellen, sequenzielle Daten und verknüpfte Tabellen. Die trainierten Generatoren lernen aus den bereitgestellten Daten. Ein Quelldatensatz, dessen Verwendung zulässig ist, bleibt also erforderlich. SDV-Dokumentation.

Synthetic-Data-Vault-Dokumentation zur Erzeugung und Bewertung synthetischer Tabellendaten
Synthetic Data Vault

In SDV lernt GaussianCopulaSynthesizer mit klassischen statistischen Verfahren die Verteilungen und Zusammenhänge von Spalten. CTGANSynthesizer verwendet ein Generative Adversarial Network: ein Modell, das durch einen Generator und einen konkurrierenden Diskriminator trainiert wird. Beide verarbeiten Daten und Metadaten, die deren Struktur beschreiben. Es handelt sich um Generatoren für Tabellendaten, nicht um universell einsetzbare Chatmodelle. Dokumentation zu Gaussian Copula, Dokumentation zu CTGAN.

Entscheidend ist, ob die für die Aufgabe relevanten Eigenschaften erhalten bleiben. Ähnlich aussehende Spaltenverteilungen belegen nicht, dass seltene Kombinationen, tabellenübergreifende Regeln oder das Verhalten eines nachgelagerten Modells bewahrt werden. Geprüft werden müssen die Beziehungen, auf die die Anwendung angewiesen ist, einschließlich der Fremdschlüssel, die untergeordnete Datensätze mit übergeordneten verknüpfen.

Den Testdaten-Generator nach dem fehlenden Baustein auswählen

Eine Modell-API passt, wenn sprachliche Variation fehlt. Distilabel lohnt sich zusätzlich, wenn die wiederholbare Steuerung von Generierung und Feedback eine weitere Abhängigkeit rechtfertigt. Faker eignet sich für Testdaten mit kontrollierten Werten. SDV kommt infrage, wenn statistische Beziehungen zwischen Tabellen wichtig sind und Quelldaten vorliegen, die modelliert werden dürfen.

Ein größerer Generator löst keine unklaren Zuordnungsregeln. Dieses Problem muss vor dem Einsatz jedes hier genannten Tools geklärt werden.

Was erlauben Anbieter beim Training mit ihren Ausgaben?

Vor der Auswahl eines Lehrermodells müssen die Beschränkungen für die Nutzung seiner Ausgaben geprüft werden. Gemeint ist das Modell, das Beispiele erzeugt, aus denen ein anderes Modell lernen soll. Die folgenden Punkte fassen die Standardbedingungen der drei oben genannten Anbieter gehosteter LLMs zusammen. Daraus folgt keine Freigabe für ein bestimmtes Trainingsprojekt.

  • OpenAI: Das Services Agreement beschränkt die Nutzung von Ausgaben zur Entwicklung konkurrierender KI-Modelle. Genannt werden Ausnahmen für Modelle, die hauptsächlich Daten kategorisieren, klassifizieren oder organisieren und weder an Dritte weitergegeben noch diesen kommerziell angeboten werden, sowie für die Anpassung von Modellen über die von OpenAI benannten Dienste. Services Agreement.
  • Anthropic: Die Commercial Terms untersagen den Zugriff auf die Dienste zum Aufbau konkurrierender Produkte oder Dienste, einschließlich des Trainings konkurrierender KI-Modelle, sofern Anthropic dies nicht ausdrücklich genehmigt. Commercial Terms.
  • Google: Die Additional Terms der Gemini API untersagen die Nutzung der Dienste zur Entwicklung konkurrierender Modelle. Die Bestimmungen zu Google Search Grounding verbieten außerdem gesondert das Training mit Grounded Results oder Search Suggestions. Nutzungsbedingungen der Gemini API.

Die Softwarelizenz einer Bibliothek ist getrennt von den Bedingungen des aufgerufenen Modells, der Lizenz etwaiger Modellgewichte und den Rechten an den Ausgangsbeispielen zu betrachten. Rechte an den Ausgaben allein klären nicht alle diese Fragen.

Datenschutz bei Testdaten braucht eine eigene Prüfung

Eine synthetische Herkunft garantiert keinen Datenschutz. Werden vertrauliche Datensätze in einen nicht freigegebenen Generierungsdienst kopiert, macht die spätere Erzeugung fiktiv wirkender Ersatzdaten diese Offenlegung nicht rückgängig.

Die Forschung von Stadler, Oprisanu und Troncoso zur Veröffentlichung synthetischer Daten zeigte, dass Datenschutzgewinne und Nutzwert zwischen den untersuchten Modellen unterschiedlich ausfielen. Für die Praxis folgt daraus: Bewertet werden müssen die veröffentlichten Daten und ihr Erzeugungsprozess. Das Wort „synthetisch“ ist kein Anonymitätszertifikat. USENIX-Forschungsarbeit.

Für Softwaretests sind fiktive Ausgangsbeispiele auf Basis eines freigegebenen Schemas und Regelwerks vorzuziehen, wenn sie ausreichen. Müssen reale statistische Muster erhalten bleiben, gehören die Quelldaten in eine freigegebene Umgebung. Zudem muss geprüft werden, welche Informationen der generierte Datensatz offenlegen kann.

Zu prüfen sind direkte Identifikatoren, kopierte Passagen, seltene Kombinationen und Verknüpfungen mit Informationen, die anderen bereits bekannt sein könnten. Ein ausgetauschter Name schützt eine Person möglicherweise nicht, wenn ein markanter Vorfall mit Ort und Datum erhalten bleibt. Vor der Veröffentlichung sensibler Daten reichen einige manuelle Stichproben und eine Dublettensuche nicht aus. Die Datenschutzprüfung muss zu den Bedrohungen und den vorgesehenen Empfängern passen.

Die Trainingsrichtlinien eines Anbieters beantworten eine andere Frage als die eigenen Rechte, mit dessen Ausgaben zu trainieren. Die Bedingungen für unbezahlte Gemini-Dienste warnen beispielsweise davor, sensible Informationen zu übermitteln. Die Datennutzungsbedingungen für bezahlte Dienste besagen dagegen, dass Prompts und Antworten nicht zur Verbesserung von Google-Produkten verwendet werden. Im EWR, in der Schweiz und im Vereinigten Königreich gelten diese Datennutzungsregeln für bezahlte Dienste laut Bedingungen auch bei unbezahlter Nutzung. Gemini-Bedingungen zur Datennutzung.

Weder die Zusage eines Anbieters, Daten nicht zum Training zu verwenden, noch eine lokale Ausführung belegt, dass der entstandene Datensatz gefahrlos weitergegeben werden kann. Herkunftsnachweise und Zugriffskontrollen bleiben deshalb bis zum Abschluss der Freigabeprüfung mit dem Datensatz verbunden.

Wo werden synthetische Daten überschätzt?

Die größte Übertreibung ist die Vorstellung, mehr generierte Zeilen könnten fehlende Belege ersetzen. Sie können mehr Übungssituationen abdecken und Fehler sichtbar machen. Sie können aber auch dieselben Annahmen in großem Maßstab vervielfältigen.

Andere Worte können dieselben Situationen verdecken

Ein Datensatz kann aus unterschiedlichen Sätzen bestehen und trotzdem nur wenige Situationen wiederholen. Nach der Filterung muss erfasst werden, welche Szenarien noch abgedeckt sind: Welche Geschäftsregeln, Mehrdeutigkeiten und Fehlermuster sind weiterhin vertreten?

Im Ticketbeispiel gleichen wiederholte Rechnungsbeschwerden das Fehlen kombinierter Abrechnungs- und Zugangsprobleme nicht aus. Geprüft werden sollten die jeweils ähnlichsten Beispiele sowie abgelehnte und akzeptierte Kandidaten. Ein zu strenger Qualitätsfilter kann unbemerkt genau die schwierigen Fälle aussortieren, die ergänzt werden sollten.

Umformulieren beseitigt Verzerrungen nicht automatisch

Wer ein verzerrtes Ausgangsbeispiel paraphrasiert, darf nicht annehmen, dass damit auch dessen Annahmen verschwinden. Die Labelvergabe sollte über verschiedene Sprachstile, Dialekte, Rechtschreibniveaus und relevante Nutzergruppen hinweg geprüft werden. Eine frustrierte oder fehlerhaft geschriebene Anfrage sollte nur dann anders weitergeleitet werden, wenn das Regelwerk diese Unterscheidung rechtfertigt.

Prüfende Personen vergleichen dafür möglichst gleiche Fälle, bei denen sich nur ein irrelevantes Merkmal ändert. Ändern sich die Labels mit, müssen Ausgangsbeispiel, Prompt und Filter gemeinsam untersucht werden. Generator und Bewertungsmodell können denselben Fehler gegenseitig verstärken.

Wenn ein Modell sich selbst benotet, kann das überzeugend wirken

Zheng und Kollegen dokumentierten bei LLM-Bewertern Verzerrungen zugunsten bestimmter Positionen, längerer Antworten und eigener Ausgaben. Ein Modell kann Formulierung oder Darstellung belohnen statt der Eigenschaft, die eigentlich gemessen werden sollte. Forschungsarbeit zu LLM-as-a-Judge.

Wo sich eine Antwort mechanisch überprüfen lässt, sollten deterministische Prüfungen eingesetzt werden. Bei subjektiven Kriterien wird das Bewertungsmodell an menschlichen Entscheidungen kalibriert. Soweit praktikabel, bleibt die Identität des Generators verborgen; abweichende Urteile werden geprüft. Ein anderer Anbieter für das Bewertungsmodell kann eine gemeinsame Abhängigkeit verringern, garantiert aber keine voneinander unabhängigen Fehler.

Der Leitfaden zu LLM-as-a-Judge erklärt, wie sich ein Bewerter prüfen lässt, bevor man seinem Ergebnis vertraut. Bei der Erzeugung synthetischer Daten gehört diese Prüfung an den Anfang: bevor der Bewerter entscheidet, welche Beispiele als korrekte Trainingsgrundlage gelten.

Architektonischer Prüfpfad, der Kandidaten durch Validierung, Dublettenbereinigung, menschliche Prüfung und Freigabe führt, mit einem Abzweig für abgelehnte Fälle
Die Generierung liefert Kandidaten. Validierung, Dublettenbereinigung und menschliche Prüfungen entscheiden über die Freigabe.

Model Collapse: Ein konkretes Risiko mit klaren Grenzen

Shumailov und Kollegen untersuchten rekursives Training mit generierten Daten und zeigten, wie seltenere Teile der ursprünglichen Verteilung verschwinden können. Das spricht für Vorsicht, wenn ursprüngliche Belege wiederholt durch die vom Modell abgeleiteten Daten ersetzt werden. Es belegt nicht, dass jeder geprüfte, auf eine konkrete Aufgabe zugeschnittene Fine-Tuning-Durchlauf mit synthetischen Daten scheitern muss. Forschungsarbeit in Nature.

Zulässige Originalbelege sollten erhalten, seltene Fälle gezielt bewahrt und das Verhalten des nachgelagerten Systems mit einer unangetasteten Referenz verglichen werden. Es gibt kein universelles Mischungsverhältnis von synthetischen und realen Daten, das diese Evaluierung ersetzen könnte.

Was sich ab Montag konkret ändern lässt

Jetzt beginnen, wenn sich ein fehlender Fall benennen, das richtige Verhalten dafür beschreiben und generierte Kandidaten anhand einer stabilen Regel prüfen lassen. Den Einstieg bildet das kleine Abdeckungsraster. Erweitert werden nur die Felder, die nützliche Fälle ergänzen.

Mit Fine-Tuning warten, wenn Prüfende sich über die Ziellabels uneinig sind oder ein unabhängiger Abnahmedatensatz fehlt. Zuerst müssen die Regeln und die Evaluierung geklärt werden.

Konventionelle Testdaten verwenden, wenn Datenbanken befüllt, Grenzwerte getestet oder die Integrität von Transaktionen geprüft werden sollen. Generierte Sprache wird nur dort ergänzt, wo sie Verhaltensweisen prüft, die einfachere Daten nicht erfassen.

Vor der nächsten Veröffentlichung werden das bisherige und das veränderte System anhand derselben unangetasteten Fälle verglichen. Bei der Supportweiterleitung sind falsche Zuordnungen und unterbliebene Eskalationen nach Kategorien zu untersuchen. Die synthetischen Daten werden nur beibehalten, wenn sie das beabsichtigte Verhalten verbessern, ohne an anderer Stelle unvertretbare Verschlechterungen zu verursachen.

Häufige Fragen zu synthetischen Daten

Welche kostenlosen Tools gibt es für synthetische Daten?

Faker und Distilabel sind Open-Source-Optionen: Faker erzeugt fiktive Feldwerte und Testdaten, Distilabel organisiert Workflows für synthetische Daten und Feedback. Aufrufe gehosteter Modelle und die Rechenleistung für einen Workflow können trotzdem Kosten verursachen. Die Softwarelizenzen setzen die Bedingungen eines angebundenen Modellanbieters nicht außer Kraft.

Welche sind die 5 wichtigsten Algorithmen in der Data Science?

Eine allgemeingültige Rangliste gibt es nicht. Lineare Regression, logistische Regression, Entscheidungsbäume, Random Forests und k-Means sind gängige Beispiele für unterschiedliche Aufgaben. Diese Aufzählung ist keine Auswahlhilfe für synthetische Daten: Ob Regeln, Tabellensynthese oder Sprachgenerierung passen, hängt von den benötigten Daten und dem zu prüfenden Verhalten ab.

Welche drei Datensatzarten werden bei der Modellentwicklung unterschieden?

Gemeint sind dabei meist Trainings-, Validierungs- und Testdatensätze. Mit den Trainingsdaten lernt das Modell, die Validierungsdaten steuern die Entwicklung, und der abschließende Testdatensatz prüft die fertige Auswahl. Zusammengehörige Quelldatensätze und ihre generierten Varianten müssen innerhalb der jeweils zugewiesenen Teilmenge bleiben.

Wie lassen sich fiktive Daten mit Python erzeugen?

Für erfundene Feldwerte eignet sich Faker. Sind Zusammenhänge wichtig, die aus zulässigen Quelldaten gelernt werden, kommt ein Generator für synthetische Tabellendaten infrage. LLM-generierte Texte werden als strukturierte Datensätze gespeichert und validiert; die Quellkennungen bleiben erhalten. Python kann den Workflow organisieren, aber nicht automatisch feststellen, ob ein generiertes Beispiel korrekt ist oder die Privatsphäre schützt.

Wie kann man synthetische Daten generieren?

Zuerst werden Verwendungszweck und Abnahmeregeln festgelegt und freigegebene Ausgangsbeispiele ausgewählt. Anschließend werden gezielt Kandidaten erzeugt, ungültige Datensätze herausgefiltert, wortgleiche und sinngleiche Dubletten bereinigt und Stichproben von einer fachkundigen Person geprüft. Die erwarteten Antworten für die abschließende Evaluierung müssen unabhängig verifiziert werden.

Wie erstellt man Dummy-Daten für Tests?

Ausgangspunkt sind das Schema und die Bedingungen der Anwendung. Für jede zu prüfende Regel werden gültige Testdaten und absichtlich ungültige Fälle erstellt. Beziehungen zwischen Datensätzen müssen erhalten bleiben. Dafür vorgesehene Testkennungen werden verwendet, und die Daten bleiben als künstlich gekennzeichnet.

Wie erstellt man einen künstlichen Datensatz?

Für eine Demonstration lassen sich Datensätze aus fiktiven Vorgaben erzeugen. Soll ein statistisch repräsentativer Ersatz entstehen, braucht es einen geeigneten Generator mit zulässigen Quelldaten sowie eine Bewertung von Nutzwert und Datenschutz. Ein plausibel wirkender Datensatz belegt nicht, dass seine Verteilungen die eigene Kundschaft abbilden.

Wie nennt man das Erfinden von Daten?

Absichtlich erzeugte künstliche Datensätze, die klar gekennzeichnet sind und für Tests oder Modellierung dienen, heißen synthetische Daten oder Mock-Daten. Werden erfundene Beobachtungen dagegen als gemessene Belege ausgegeben, handelt es sich um Datenfälschung. Generierte Beispiele müssen sichtbar von beobachteten Ergebnissen getrennt bleiben.

Kann KI Daten erzeugen?

Ja. Sprachmodelle können Textkandidaten erzeugen, generative Modelle für Tabellendaten strukturierte Datensätze. Bevor daraus ein Datensatz wird, auf den sich andere verlassen, müssen Nutzwert, Korrektheit, zulässige Verwendung und Datenschutz geprüft werden. Die Verantwortung dafür bleibt bei denjenigen, die ihn einsetzen.

Den Newsletter abonnieren und praktische Anleitungen zur Entwicklung und Evaluierung von KI-Systemen erhalten.

Veröffentlicht
Kategorie
Build
RLHF erklärt: Wie menschliches Feedback KI-Modelle formt

RLHF erklärt: Wie menschliches Feedback KI-Modelle formt

Wie RLHF menschliche Bewertungen in Modellverhalten übersetzt, was DPO unterscheidet und welche APIs kleinen Unternehmen beim Präferenztraining helfen.22. Okt. 2026Build
AI Router: Modelle gezielt auswählen und richtig testen

AI Router: Modelle gezielt auswählen und richtig testen

AI Router wählen für jede Anfrage ein passendes LLM. So lassen sich Routing-Regeln, Kosten und Antwortqualität mit einem Supportbeispiel fundiert prüfen.21. Okt. 2026Build
LLM Caching: Wann semantische Caches die richtige Antwort liefern

LLM Caching: Wann semantische Caches die richtige Antwort liefern

Wie semantisches LLM Caching funktioniert und wann Antworten wiederverwendbar sind: Ablauf, Praxisbeispiel, Schwellenwerte, Gültigkeitsdauer und Nutzergrenzen.21. Okt. 2026Build
Pydantic AI oder LangChain: Welches Framework passt?

Pydantic AI oder LangChain: Welches Framework passt?

Pydantic AI und LangChain im Vergleich: Python-Beispiele, validierte Ausgaben, LangGraph-Workflows, Tracing, Evaluierung und Tipps für den Framework-Wechsel.21. Okt. 2026Build
Zed vs Cursor 2026: Welcher Editor passt zum Workflow?

Zed vs Cursor 2026: Welcher Editor passt zum Workflow?

Zed vs Cursor im Vergleich: Bedienung, KI-Agenten, Zusammenarbeit und Kosten. Wann sich der Wechsel lohnt und wie Zed mit Cursors Agenten funktioniert.21. Okt. 2026Build
Inferenz bei LLMs: Was Antworten schnell oder langsam macht

Inferenz bei LLMs: Was Antworten schnell oder langsam macht

Wie Inferenz bei LLMs funktioniert: Prefill, Decode, Latenz und Caching verständlich erklärt. So fällt die Wahl zwischen Modell-API, Hosting und eigenen GPUs.21. Okt. 2026Build
Semantische Suche: Von Embeddings zu passenden Treffern

Semantische Suche: Von Embeddings zu passenden Treffern

Wie semantische Suche mit Embeddings passende Inhalte findet, wann die Stichwortsuche punktet und wie Hybridsuche und Reranking in der Praxis zusammenspielen.21. Okt. 2026Build
Factory AI: Was Droids für Entwicklerteams leisten

Factory AI: Was Droids für Entwicklerteams leisten

Factory AI im Überblick: Was Droids leisten, welche Tarife sich für Teams eignen und wo die Grenzen gegenüber Claude Code, Codex und Cursor liegen.21. Okt. 2026Build
Newsletter

Ein Brief, jeden Sonntag.Funktionierende Systeme, keine heißen Takes.

Wöchentlich. Kein Spam. Jederzeit abbestellbar.