KI Modelle Evaluieren Ohne Prompts Preiszugeben 2026

Ja, ein KI-Modell lässt sich mittlerweile evaluieren, ohne geheime Test-Prompts an den Modellanbieter oder geschützte Modellgewichte an den Prüfer auszuhändigen – zumindest in einem echten Pilotprojekt. Google DeepMind platzierte Gemini 2.5 Flash Lite und private Benchmark-Prompts in einer kryptografisch verifizierten GPU-Umgebung und ließ ausschließlich freigegebene Ergebnisse nach außen. Die reine Secure-Compute-Position liegt bei aktuellen Iowa-Spot-Preisen bei etwa $7.08 pro Stunde. Der teure Posten sind Menschen: Laut DeepMinds technischem Bericht bilden rechtliche Abstimmungen und Code-Reviews, nicht der Hardware-Overhead, den eigentlichen Engpass. Das verwandelt vertrauliche Evaluierung von einer Vertrauensfrage in ein plan- und budgetierbares Sicherheitsprojekt.

Ja, aber dies ist ein Pilotversuch, kein Produkt auf Knopfdruck

Die pragmatische Antwort lautet: Ja, aber mit klaren Grenzen. Google DeepMinds Pilotversuch vom August 27 belegt, dass eine externe Organisation ein geschlossenes Modell prüfen kann, während zwei schützenswerte Werte strikt getrennt bleiben:

• Der Prüfer hält Benchmark-Prompts, Scoring-Regeln und Fehlerszenarien vor dem Modellanbieter geheim.
• Der Modellanbieter hält Modellgewichte und Inferenz-Code – das Herzstück des Modells – vor dem Prüfer geheim.

Modellgewichte sind die gelernten Zahlenwerte, die das Verhalten eines Modells steuern. Ein privater Benchmark entspricht dem Prüfungsbogen. Die Herausgabe eines dieser Werte kann massiven wirtschaftlichen Schaden anrichten. Ein geleakter Benchmark landet schnell in neuen Trainingsdaten, wodurch spätere Testergebnisse besser ausfallen, ohne dass das Modell tatsächlich besser geworden ist. Offengelegte Gewichte gefährden geistiges Eigentum und Funktionsfähigkeiten, deren Schutz für den Eigentümer geschäftskritisch ist.

Man kann sich den Pilotversuch wie einen versiegelten Prüfungsraum mit zwei Türen vorstellen. Das Modell betritt den Raum durch die eine Tür, die Prüfung durch die andere. Bevor eine Partei ihre Tür öffnet, prüfen beide ein signiertes Zertifikat, das exakt belegt, welcher Raum, welche Schlösser und welche Regeln gelten. Der Test läuft im Inneren ab. Der Raum liefert eine vereinbarte Scorecard ab und löst sich anschließend auf.

Der Testlauf nutzte Google Cloud Confidential Space, eine a3-highgpu-1g Confidential VM, Intel TDX-Speicherschutz, eine NVIDIA H100 80GB Confidential GPU und OpenMineds PySyft-Software. Eine sichere Enklave ist nichts anderes als dieser versiegelte Raum in Hardware gegossen: Der Arbeitsspeicher bleibt während der Programmausführung verschlüsselt, und ein signiertes Attest erlaubt beiden Parteien die exakte Prüfung der Software vor der Datenfreigabe.

Dies ist keine allgemeine Produktverfügbarkeit. Die Ankündigung und der technische Bericht beschreiben einen ersten Pilotversuch – keinen Self-Service-Evaluierungsdienst, keine offiziellen Tarife und keinen Veröffentlichungstermin.

Wie die doppelt verblindete Methode KI Modelle zu evaluieren funktioniert

Die Kryptografie ist entscheidend, doch der Ablauf lässt sich am besten anhand von fünf Freigabeschritten nachvollziehen.

1. 1

   Schnittstelle definieren

   Der Modellanbieter stellt ein Mock-Interface bereit. Der Prüfer entwickelt seinen Test-Code gegen diese Hülle, ohne das echte Modell zu erhalten. Beide Parteien einigen sich verbindlich darauf, was berechnet werden darf und welche Resultate den Raum verlassen dürfen.

2. 2

   Den versiegelten Raum starten

   Eine Partei startet eine vertrauliche GPU-Umgebung mit dem freigegebenen Betriebssystem, der Laufzeitumgebung und dem PySyft-Container. Die Maschine zu hosten gibt dieser Partei die Macht, sie zu stoppen, nicht aber, die Geschäftsgeheimnisse der Gegenseite einzusehen.

3. 3

   Den Raum verifizieren

   Jede Seite prüft das Remote Attestation-Protokoll – einen kryptografisch signierten Fingerabdruck des gesamten Hardware- und Software-Stacks. Daten fließen erst, wenn diese Messwerte exakt der Vereinbarung entsprechen und für diesen konkreten Lauf frisch signiert sind.

4. 4

   Laden und autorisieren

   Der Modellanbieter streamt verschlüsselte Gewichte und Inferenz-Code in die Enklave. Der Prüfer sendet verschlüsselte Prompts und Auswertungs-Code über einen separaten Kanal. Beide Seiten prüfen die freigegebenen Codepfade und autorisieren die Ausführung.

5. 5

   Ausführen, freigeben, löschen

   Die Enklave führt die Tests aus, gibt exakt die von der Ausgaberichtlinie erlaubten Ergebnisse frei und wird danach heruntergefahren. Temporäre Schlüssel zur Speicherverschlüsselung verfallen beim Stoppen der Instanz sofort.

Im DeepMind-Pilotversuch liefen zwei private Auswertungen. Eine nutzte zurückgehaltene Prompts des MLCommons AILuminate-Benchmarks zu Gefahrenbereichen wie Cyberangriffen, CBRNE-Inhalten, Hassrede, Selbstverletzung und der Anstiftung zu schweren Straftaten. Die zweite nutzte einen spezifisch auf Singapur ausgerichteten Datensatz zu schädlichen Inhalten von Singapore AISI. AVERI übernahm die Ver- und Entschlüsselung von Prompts und Ausgaben und ließ diese durch eigenes Personal auswerten.

Dieses letzte Detail ist wesentlich: Doppelblind bedeutet nicht, dass niemand etwas sieht. Der Prüfer kennt seinen Test und erhält unter Umständen Modellausgaben. Das Versprechen ist präziser: Der Modellanbieter sieht den vertraulichen Test nicht, der Prüfer erhält keinen Zugriff auf die Gewichte, und die Cloud-Umgebung wird durch Hardware und Richtlinien restriktiv eingeschränkt.

Der Budgetposten, der sich grundlegend verschiebt

Vertrauliche Evaluierung sollte nicht als einfache Modell-Observability-Lizenz verbucht werden. Sie gehört in die Vendor Diligence, das Modellrisikomanagement, die Sicherheitsprüfung oder regulierte Beschaffungsprozesse.

Gängige Evaluierungs-Tools spiegeln das bisherige Softwarebudget wider. Braintrust listet Pro mit $249 per month. LangSmith führt Plus für $39 per seat per month – fünf Plätze kosten $195 per month vor Nutzungsgebühren. Diese Produkte strukturieren reguläre Modelltests im Team. Sie dienen als Preisanker, sind aber kein Ersatz für ein doppelt verblindetes Audit.

Die vertrauliche Infrastruktur ist überraschend transparent kalkulierbar. Google Cloud berechnet für Confidential Space keine gesonderte Gebühr. In Iowa lag der Spot-Preis für die VM-Konfiguration a3-highgpu-1g bei $6.636703068 pro Stunde; der Aufpreis für Confidential Computing betrug $0.4391592. Zusammen ergibt das etwa $7.08 pro Stunde oder $70.76 für ein 10-Stunden-Fenster (vor Speicher- und Netzwerkkosten).

Der Bericht beziffert den Compute-Overhead der Enklaven-Architektur auf unter 5 Prozent und benennt organisatorische Hürden sowie menschliche Koordination als primären Engpass. Das ist die wirtschaftliche Konsequenz: Rechenzeit lässt sich exakt beziffern. Vertrauensarchitektur erfordert weiterhin manuellen Aufwand.

Ein realistisches Budget umfasst fünf Positionen: Prüferhonorar, Aufwand des Modellanbieters für die Integration, Enklaven-Infrastruktur, juristische Rahmenverträge sowie die Prüfung von Code und Ausgaberichtlinien. Enthält ein Angebot nur GPU-Stunden, ist es kein Audit-Plan. Enthält es nur Beratungsstunden, fehlt die vertrauliche Ausführungsebene.

Sieben Einsatzbereiche nach geschäftlichem Hebel

1. Regulierte Unternehmen bei der Modellauswahl

Banken, Versicherungen oder Gesundheitskonzerne haben den klarsten Business Case. Die Beschaffung liefert reale, vertrauliche Problemfälle aus den eigenen Betriebsabläufen. Ein Anbieter liefert sein geschlossenes Modell. Ein unabhängiger Prüfer führt den Test aus und liefert eine begrenzte Scorecard zurück, ohne dass eine Seite ihr Kern-Asset preisgibt.

Der Ertrag: fundierte Entscheidungsgrundlagen vor mehrjährigen Modellverträgen. Käufer testen exakt ihre geschäftskritischen Risiken, anstatt sich auf öffentliche Bestenlisten zu verlassen. Der Anbieter muss weder Gewichte ausliefern noch sensible Kundendaten speichern.

2. Staatliche Sicherheitsinstitute für KI

Behörden können Bedrohungsszenarien aus den Bereichen Cyber, Biologie oder Desinformation vor den Trainingssystemen der Labore schützen und proprietäre Spitzenmodelle trotzdem rigoros analysieren. Das entspricht exakt dem Setup des Pilotversuchs mit Singapore AISI.

Der Ertrag: Benchmarks bleiben langfristig nutzbar, und die Aufsicht wird gestärkt. Ein geheimer Test behält über mehrere Modellgenerationen hinweg seinen Wert, da er nicht in Trainingsdatensätzen versickert.

3. Unabhängige Benchmark-Organisationen

Benchmark-Entwickler können besonders anspruchsvolle Prüffälle zurückhalten, lediglich ein Mock-Interface publizieren und verschiedene Modellanbieter durch dieselbe attestierte Umgebung leiten. So lassen sich aggregierte Ergebnisse publizieren, während die Roh-Prompts versiegelt bleiben.

Der Ertrag: Der Marktwert des Benchmarks bleibt geschützt. Organisationen prüfen mehr Modelle, ohne den Datensatz preiszugeben, auf dem ihr Geschäftsmodell beruht. Die Herausforderung verlagert sich auf die Ausgaberichtlinie, da zu granulare Ergebnisse Rückschlüsse auf Testinhalte zulassen.

4. KI-Labore auf der Suche nach unabhängigen Prüfbelegen

Ein Modellentwickler kann externe Prüfer vertrauliche Modell-Checkpoints testen lassen, ohne die Rohgewichte zu exportieren. Der Prüfer bringt den Testdatensatz ein, beide genehmigen die Umgebung, und der Prüfbericht dient Enterprise-Kunden als Sicherheitsnachweis.

Der Ertrag: Glaubwürdigkeit ohne Weitergabe des geistigen Eigentums. Dies ist besonders relevant, wenn Standard-API-Tests die Prompts des Prüfers unweigerlich in herkömmliche Anbieter-Infrastrukturen einspeisen würden.

5. Cyber-Defense-Teams bei der Analyse offensiver Fähigkeiten

Betreiber kritischer Infrastrukturen können prüfen, ob ein Modell sensible Angriffspfade erkennen, verknüpfen oder erklären kann – unter Verwendung von Prompts, die keinesfalls in allgemeinen Trainingsdatenbeständen landen dürfen. Das Modell bleibt geschützt, der Test verbleibt im Sicherheitsprogramm.

Der Ertrag: belastbare Einsatzentscheidungen ohne Prompt-Abfluss. Allerdings erfordert die Evaluierung weiterhin Sandbox-Strukturen: Vertrauliche Ausführung macht gefährliche Modellausgaben an sich nicht harmlos.

6. Gesundheitssysteme zur Validierung medizinischer Spezialmodelle

Forschungsgruppen an Kliniken können private Sets de-identifizierter Grenzfälle erstellen und geschlossene Modelle prüfen, ohne Patientendaten über öffentliche APIs zu verarbeiten. Die Scorecard konzentriert sich auf Verweigerungsquoten, Eskalationsschritte und Nachweispflichten.

Der Ertrag: empirische Evidenz entlang klinischer Richtlinien unter Schutz beider Seiten. Datenschutzgesetze und Data Governance bleiben verpflichtend; eine Enklave ist eine Kontrollinstanz, kein automatisches Compliance-Zertifikat.

7. Technische Due Diligence bei Akquisitionen und Partnerschaften

Ein Investor oder Käufer bringt reale Workflows aus dem Datenraum ein, während das Übernahmeziel sein proprietäres Modell bereitstellt. Ein neutraler Prüfer führt vereinbarte Tests durch und liefert einen limitierten Ergebnisbericht an die Transaktionsbeteiligten.

Der Ertrag: minimierte Offenlegungspflichten vor Vertragsabschluss und Unabhängigkeit von geschönten Verkaufsdemos. Wegen des Setup-Aufwands eignet sich das Verfahren vor allem für strategische Übernahmen oder Plattformpartnerschaften.

Drei Produktchancen am Markt

1. Ein Beschaffungslabor für private Modelle (das stärkste Geschäftsmodell)

Ein Managed Service, bei dem regulierte Käufer vertrauliche Akzeptanztests einreichen, Anbieter geschlossene Modelle andocken und die Plattform einen attestierten Prüfbericht ausgibt. Zielkunden sind Chief Risk Officer, Modellrisiko-Teams und Beschaffungsleiter.

Das Nachfragesignal ist signifikant: ai governance platform verzeichnet 1,600 US-Suchanfragen pro Monat bei Gebotsschätzungen für Top-Positionen zwischen $27.92 und $71.51 sowie einem Anstieg um 307 Prozent im Jahresvergleich laut Vorschlagsdaten. Beschaffungsteams suchen Governance-Lösungen. Ein Prüflabor bündelt diesen Bedarf in einer signierten Entscheidungsgrundlage.

Die kleinste marktreife Version umfasst ein Modell, eine private Testfamilie, ein Metriken-Paket, einen attestierten Lauf und ein managementtaugliches Beweisdokument. Das zentrale Kriterium ist Reputation: Es braucht Enterprise-Sicherheit, anerkannte Prüfer, Cloud-Expertise und verlässliche Rechtsvorlagen.

2. Eine Attestation-Control-Plane für KI-Audits

Software, die Hashes, Nonces, Image-Identitäten, Richtlinienfreigaben und Ausführungsnachweise in einem revisionssicheren Prüfprotokoll konsolidiert. Kunden sind Prüfinstitute oder Modellanbieter, die sichere Infrastruktur betreiben können, aber nicht jedes Audit als individuelles Kryptografieprojekt aufsetzen möchten.

Der Begriff confidential computing bringt 880 US-Suchanfragen pro Monat und einen CPC von $30.80 mit sich. Die Zielgruppe ist technischer und der Schmerzpunkt kostenintensiv. Das im DeepMind-Bericht formulierte Ziel ist ein einfaches Vertrauenssignal, das die Komplexität zugrunde liegender Hashwerte und Schlüssel kapselt.

Ein MVP prüft ein Google Cloud Confidential Space-Muster, erfasst die Genehmigungen beider Parteien, verknüpft sie mit dem gemessenen Software-Image und exportiert ein signiertes Manifest. Die Herausforderung liegt in der Hardware-Abhängigkeit: Jede neue Enklaven-Architektur verändert Root-of-Trust, Beweisformate und Fehlermuster.

3. Ein Handelsplatz für versiegelte Benchmarks

Ein Marktplatz, auf dem Benchmark-Urheber auflisten, was ein Test misst, ohne Aufgaben offenzulegen. Modellinhaber kaufen attestierte Testläufe, die ausschließlich genehmigte Metriken ausgeben. Benchmark-Ersteller monetarisieren ihre Tests, ohne Prüfdaten zu verteilen; Modellentwickler erhalten unabhängige Prüfungen ohne Weitergabe von Gewichten.

Für ai model evaluation registrieren die Vorschlagsdaten 140 US-Suchanfragen pro Monat bei KD 0 und 200 Prozent Wachstum im Jahresvergleich. Keine Breitenmasse, aber ein klar definierter B2B-Keil für hochpreisige Prüfungen.

Ein MVP erfordert einen Benchmark-Partner, einen Modellanbieter, ein Enklaven-Image und eine Ausgaberichtlinie. Die größte Gefahr ist Rekonstruktion durch Wiederholung: Zu viele Detailabfragen können geschützte Aufgaben indirekt offenlegen. Ratenbegrenzungen und granulare Resultate sind daher Kernfunktionen des Produkts.

Das Beschaffungslabor bleibt der beste Einstieg, da es direkt an existierende Einkaufsbudgets anknüpft: Freigabe, Ablehnung oder Nachverhandlung eines Modellkaufs.

Grenzen der Machbarkeit

Der Pilotversuch beweist, dass gegenseitige Vertraulichkeit technisch möglich ist. Er macht Prüfungen jedoch weder vollautomatisch noch frei von Vertrauensbeziehungen.

• Kein Self-Service-Portal: DeepMind nennt weder ein Veröffentlichungsdatum noch offizielle Pilot-Preise.
• Getestet an einem Modell auf einer H100: Der Bericht verweist für größere Modelle explizit auf zukünftige Multi-Node-Cluster auf H100- oder B200-Basis.
• Nicht vertrauensfrei (not trustless): Die Architektur setzt voraus, dass Cloud-Provider und Chiphersteller nicht kolludieren. Proprietäre Firmware bleibt Teil der Vertrauensbasis.
• Google bleibt Verifikationsinstanz: Der Testlauf stützte sich auf Googles Signatur- und Prüfmechanismen. Die Gast-Builds waren extern nicht reproduzierbar, da private Signaturschlüssel als Inputs dienten.
• Teile des Modellcodes blieben intransparent: Nicht jede proprietäre Methode ließ sich vollständig offenlegen oder auf eine Whitelist setzen. AVERI akzeptierte diese Einschränkung für den Pilotversuch.
• Ein versiegelter schlechter Test bleibt schlecht: Die Enklave schützt Prompt-Geheimhaltung und Ausführungsintegrität. Sie garantiert nicht, dass der Test relevante Fähigkeiten misst oder Produktionsverhalten vorhersagt.
• Ausgaben erfordern eigene Datenschutzregeln: Zu detaillierte Resultate lassen Rückschlüsse auf Prompts oder Modellstrukturen zu. Die Output-Policy muss vorab verbindlich fixiert werden.
• Personalkosten dominieren: Der Bericht identifiziert Verträge, Code-Audits und Abstimmungsprozesse als primären Kosten- und Zeitfaktor.

Für Teams, die reguläre Evaluierungswerkzeuge suchen, bietet der Leitfaden für KI-Benchmark-Audit-Tools eine Übersicht. Doppelblind-Evaluierungen setzen eine Stufe darüber an, wenn Testdaten oder Modellgewichte zu sensibel für klassische Schnittstellen sind.

Fazit: Hier entsteht ein belastbares Sicherheitsmuster, aber noch keine fertige Softwarekategorie. Erste Anwender sind Organisationen mit risikobehafteten Entscheidungen, bei denen der Wert eines vertrauenswürdigen Audits die Koordinationskosten übersteigt.

Der nächste Schritt ab Montag

Verantwortliche für KI-Beschaffung, Modellrisiko oder IT-Sicherheit sollten eine Modellentscheidung der nächsten 30 Tage auswählen. Formulieren Sie ein einseitiges Briefing mit folgenden Punkten: das Modell, ein Fehlerszenario, der Eigentümer der Prompts, der Eigentümer der Modellgewichte, die freizugebende Metrik und die konkrete Entscheidung, die davon abhängt.

Lassen Sie Prüfer und Modellanbieter die fünf Kostenblöcke getrennt beziffern: Integration, Prüferaufwand, Rechtsvereinbarungen, Code- und Richtlinien-Review sowie vertrauliche Infrastruktur. Nutzen Sie die rund $7.08 pro GPU-Stunde ausschließlich als Referenzwert für die reine Rechenleistung. Entscheidend ist, den realen Aufwand der Prüfarbeit transparent zu machen, anstatt ein $71-Zeitfenster für eine VM mit dem Gesamtprojekt gleichzusetzen.

Beginnen Sie nicht mit einer generischen Plattform. Weisen Sie nach, dass ein einzelner versiegelter Testlauf eine Beschaffungs-, Freigabe- oder Rollout-Entscheidung konkret verbessert. Erst dieser Nachweis rechtfertigt den Aufbau eines dauerhaften Programms.

Wie kann man KI Modelle evaluieren?

Ausgangspunkt ist die geschäftliche Entscheidung, die der Test absichern soll. Darauf aufbauend werden repräsentative Prüffälle definiert. Qualitätsmetriken und Abbruchkriterien müssen vor dem Testlauf feststehen, Entwicklungs- und Testdaten strikt getrennt bleiben und Modellversion, Systemumgebung, Prompts sowie Ausgaberichtlinien unveränderlich protokolliert werden. Ein doppelt verblindetes Setup empfiehlt sich, wenn Prompts oder Modellgewichte schutzbedürftig sind.

Was ist ein KI-Modell-Evaluator?

Der Begriff bezeichnet Personen, Organisationen oder Softwareplattformen, die das Modellverhalten anhand definierter Kriterien und Regeln auditieren. Im DeepMind-Pilotversuch lieferten externe Organisationen vertrauliche Prüfdaten und bewerteten Ausgaben, während das proprietäre Modell in einer attestierten Umgebung geschützt blieb.

Was wird bei der Evaluierung von KI-Modellen gemessen?

Gemessen werden Aufgabenpräzision, Sicherheitsverhalten, Qualität von Verweigerungen, Robustheit, Faktentreue, Bias, Latenz oder Kosten. Eine sichere Enklave regelt lediglich den vertraulichen Zugriff auf Daten und Modell; welche Kennzahlen für den Betrieb relevant sind, muss vorab fachlich definiert werden.

Was zeichnet Test-Prompts für KI-Modelle aus?

Ein Test-Prompt provoziert spezifische Fähigkeiten oder Fehlermodi unter definierten Rahmenbedingungen. Belastbare Prompts verfügen über klare Bewertungsregeln und entstammen Datensätzen, mit denen das Modell zuvor nicht trainiert wurde. In sensiblen Audits enthalten sie oft vertrauliche Unternehmensrichtlinien oder Risikoszenarien, die vor dem Modellanbieter geheim bleiben müssen.

Wenn Sie einen vertraulichen Prüf-Workflow für geschäftskritische Modellentscheidungen und klare Vertrauensgrenzen aufbauen möchten: mehr über AI Production Systems erfahren.