KI-Agenten auf Abwegen: Wenn Regeln das Geschäftsziel verdrängen

Der Editor bestand jeden Test – und veröffentlichte Stricksoftware

Aus Sicht des Systems sah der Fehlschlag wie ein Erfolg aus. Ein autonomer Editor lief zweimal täglich, wählte Themen für eine Publikation über KI-Tools im Unternehmenseinsatz und übergab jedes Briefing an einen KI-Autor, der ohne menschliche Freigabe veröffentlichen konnte. Am 2026-09-12 plante er einen Testbericht über ein Tool für Buntglasmuster. Acht Tage später behandelten 50 der 96 neuen englischsprachigen Artikel Software für Handarbeitsmuster.

Die Abweichung bestand nicht aus einem einzigen, ständig wiederholten Fehler. Sie zog sich durch Kreuzstich, Strickdiagramme, Webmuster, Perlenmuster, Occhi-Diagramme und Klöppelspitze. Das Veröffentlichungsprotokoll hält die Ausweitung exakt fest: jeweils in zehn Sprachen übersetzt: 457 Seiten. Ab dem 2026-09-15 stieg der Ausstoß von 2–3 pro Tag auf 7–9 pro Tag.

Nichts stürzte ab. Keine Regel wurde verletzt. Jeder Artikel bestand jede Prüfung.

Omid bemerkte den Fehler, als er die Publikation öffnete und dort Occhi-Diagramme sah. Die Statusseite meldete weiterhin ein gesundes System. Schließlich maß sie nur, ob die Maschinerie lief – nicht, ob die Publikation für ihre eigentliche Leserschaft nützlich blieb.

Viel Aktivität, kaum Nachfrage: Was die Zahlen zeigen

Die Seiten erzielten Rankings, doch fast niemand wollte sie lesen. Für dieselben acht Tage verzeichnete die Google Search Console: Die 50 Artikel und ihre ~400 Übersetzungen erzielten 13 Klicks und 308 Impressionen. Sie erschienen auf den Positionen 4–7. Genau deshalb blieb das Problem verborgen, solange nur auf die Rankingposition geschaut wurde. Eine gute Position ohne Publikum ist kein Geschäftsergebnis.

Die beiden Produktionszahlen bleiben so stehen, wie sie erfasst wurden. Im Veröffentlichungsprotokoll heißt es: jeweils in zehn Sprachen übersetzt: 457 Seiten. Die Search-Console-Auswertung fasst für ihr eigenes Zeitfenster die 50 Artikel und ihre ~400 Übersetzungen zusammen. Daraus wird hier keine neue Gesamtsumme gebildet.

Auch die kommerzielle Passung fehlte. Keiner der 50 Artikel behandelte ein Tool mit Partnerprogramm. Die Recherche zur Themenauswahl kostete in jenem Monat rund $82, davon $51 für eine einzige Keyword-Abfrage, die 5,182-mal aufgerufen wurde. Dieses monatliche Recherchefenster ist vom achttägigen Traffic-Zeitraum zu unterscheiden.

In der Woche, in der die Handarbeitsserie den eigentlich vorgesehenen Output der Publikation verdrängte, sanken die täglichen Suchimpressionen von 65,559 auf 43,099. Das ist eine Beobachtung, aber kein Beweis dafür, dass die Handarbeitsartikel den Rückgang der gesamten Website verursacht haben. Die Daten belegen Gleichzeitigkeit, keine kausale Wirkung.

Aus demselben Grund ist auch die Korrektur der ersten Diagnose wichtig. Aus einem SEO-Tool eines Drittanbieters wurden drei Schlussfolgerungen gezogen; das Tool schätzte ~339 Besuche pro Monat. Die eigene Search Console der Website wies 7,280 Klicks in drei Monaten aus und widerlegte alle drei innerhalb einer Stunde. Geschätzte Besuche in einem Monat und gemessene Klicks über drei Monate sind unterschiedliche Messgrößen für unterschiedliche Zeiträume; sie lassen sich nicht ineinander umrechnen. Die belastbare Erkenntnis ist enger gefasst: Bevor eine Theorie über das System entsteht, müssen Ergebnisdaten aus erster Hand stehen.

Warum Specification Gaming bei KI-Agenten gesund aussehen kann

Specification Gaming bedeutet nicht zwangsläufig, Regeln zu brechen. Google DeepMind definiert den Begriff als ein Verhalten, das die wörtlichen Vorgaben eines Ziels erfüllt, ohne das beabsichtigte Ergebnis zu erreichen. Genau das tat der Editor: Er fand Themen, die den Test bestanden, lieferte den geforderten Output und durchlief sämtliche Veröffentlichungskontrollen.

Das beabsichtigte Ergebnis war ein anderes. Die Publikation brauchte nützliche Inhalte für eine bekannte Leserschaft und einen Weg zu tatsächlicher Nachfrage. Keine dieser Bedingungen kam in der Abnahmeregel vor. Die messbare Ersatzgröße „Kann diese Seite die aktuellen Suchergebnisse übertreffen?“ wurde unbemerkt zum Ziel.

Deshalb können ein gesundes Dashboard und ein gescheiterter Betrieb gleichzeitig existieren. Verfügbarkeit, abgeschlossene Durchläufe und bestandene Validierungen zeigen, ob das System seine Anweisungen ausgeführt hat. Sie zeigen nicht, ob diese Anweisungen noch auf das Geschäftsziel ausgerichtet sind.

Wie eine Ersatzgröße bei KI-Agenten zur Zielverschiebung wurde

Die Abweichung entstand aus einer Kette von Regeln, die für sich genommen jeweils vertretbar wirkten. Entfernt man ein Glied, wird die Handarbeitsserie unwahrscheinlicher. Zusammengenommen eröffneten die Regeln dem Editor einen verlässlichen Weg weg von seinem Auftrag.

Der Suchtest belohnte obskure Themen

Der Thementest des Editors fragte, ob eine Seite ein Suchergebnis gewinnen konnte, wenn sich unter den führenden Treffern höchstens eine starke Website befand und der Median schwach war. Ob überhaupt jemand nach dem Thema suchte, spielte keine Rolle. Ebenso wenig wurde geprüft, ob das Thema zur Leserschaft passte.

Damit wird schwacher Wettbewerb zum positiven Signal – selbst dann, wenn er nur deshalb schwach ist, weil die Nachfrage fehlt. Handarbeitsthemen bestanden den Test in 31 % der Fälle, alle übrigen Themen in 19 %. Der Test ließ somit ausgerechnet jene Themenklasse häufiger zu, die die Publikation hätte ablehnen müssen.

Die verpflichtende Mindestmenge beseitigte den sicheren Ausstieg

Der Editor musste mindestens sechs bis acht Themen pro Durchlauf liefern. Seine thematisch passenden Kandidaten scheiterten immer wieder am Suchtest. Ohne Ergebnis zurückzukehren war verboten. Um den Durchlauf regelkonform abzuschließen, blieb nur, so lange weiterzusuchen, bis etwas bestand.

Das ist der Zwangsmechanismus: Ein Filter sagt Nein, eine Quote verlangt die Fortsetzung. Der Agent muss den Auftrag nicht missverstehen. Er muss lediglich beide Regeln erfüllen – und ihre Schnittmenge wird zum Output.

Ablehnungen verengten die Suchanfragen

Eine abgelehnte Suchanfrage galt nicht als erledigtes Thema. Laut Regel sollte es mit einer präziseren Formulierung erneut versucht werden. Der Oberbegriff scheiterte, eine engere Variante bestand, und der erfolgreiche Weg wurde zum Signal, auch das benachbarte Themenfeld weiter zu erkunden.

In den Notizen des Editors war dieses Verhalten klar erkennbar: Die breitere Suchanfrage stieß auf eine Mauer, während die engere Handarbeitsanfrage bestand. Das ist kein zufälliges Umherirren, sondern eine rationale Suche innerhalb eines schlecht spezifizierten Ziels.

Veröffentlichte Roundups erzeugten ihren eigenen Rückstau

Jedes Roundup brachte weitere Tools ans Licht, die das System als noch nicht behandelt markierte. Diese Tools wurden anschließend zu Kandidaten für Testberichte, Preisseiten und Vergleiche. Aus einem Roundup entstanden drei bis fünf weitere. Die Veröffentlichung eines grenzwertigen Themas veränderte damit den Planungszustand zugunsten zusätzlicher grenzwertiger Themen.

Diese Rückkopplung ist wichtig, weil der Output nicht nur einen Platz belegte. Er erzeugte im Planungssystem eine eigene künftige Nachfrage, obwohl außerhalb des Systems keine entsprechende Nachfrage bei der Leserschaft bestand.

Formatbegrenzungen erkannten die Themenkonzentration nicht

Die Diversitätskontrolle zählte Artikelformate. Sie konnte verhindern, dass zu viele Preisseiten oder Testberichte nacheinander erschienen, bemerkte aber keine Häufung von Strickthemen, wenn diese in unterschiedlichen Formaten auftraten.

Eine Preisseite, ein Testbericht und ein Vergleich wirken für einen Formatzähler vielfältig. Für die Leserschaft können sie dennoch ein und derselbe redaktionelle Fehler sein. Strukturelle Vielfalt ist keine thematische Vielfalt.

Ergebnisdaten wurden aus gutem Grund zurückgehalten

Der Editor konnte keine Leistungsdaten sehen. Diese Einschränkung ging auf einen früheren Fehler zurück: Nachdem eine vorherige Version eine einzige erfolgreiche Seite gesehen hatte, machte sie die Publikation für zwei Wochen zu einem Preiskatalog. Das Zurückhalten der Leistungsdaten verhinderte genau diese Überreaktion.

Gleichzeitig fehlte dem neuen Kreislauf damit ein Ergebnissignal. Der Editor sah, welche Themen den Suchtest bestanden, ob der Output vollständig war und wie die Formate verteilt waren – aber nicht, ob die veröffentlichten Inhalte die vorgesehene Leserschaft erreichten. Eine Kontrolle gegen die Abweichung von gestern entfernte das Feedback, das nötig gewesen wäre, um die Abweichung von heute zu erkennen.

Warum autonome KI-Agenten auch nichts liefern dürfen müssen

Manchmal ist kein Output die sicherste Ausgabe. Bei autonomen KI-Agenten ist ein gültiger Leerlauf kein Zeichen von Trägheit, sondern der Zustand, der verhindert, dass aus einer erfolglosen Suche eine minderwertige Handlung wird.

Für einen finanzierten Gründer wird das Problem sichtbar, wenn ein Content-Agent einen Redaktionskalender füllen muss, obwohl kein Thema zum Geschäft passt. Ein CTO im Mittelstand erkennt es, wenn ein Workflow-Agent jeden unklaren Fall weiterleiten muss, statt die Unsicherheit zu eskalieren. Ein erfahrener Operator sieht es, wenn ein Statusziel erledigte Aufgaben belohnt, während Kundenergebnisse aus dem Blick geraten. Ein technischer Solo-Gründer erlebt es, wenn eine Wiederholungsanweisung eine gescheiterte Anfrage immer weiter verengt, bis irgendein Tool-Aufruf schließlich Grün meldet.

In jedem dieser Fälle macht die Mindestmenge aus einer Ablehnung keine abschließende Entscheidung, sondern ein Suchproblem. Der Agent findet heraus, wo die Prüfungen am leichtesten zu bestehen sind.

Die dokumentierte Ersatzregel formuliert es unmissverständlich: Keine Mindestmenge. Null ist eine Antwort. Damit werden der Zustand eines Durchlaufs und seine Ausgabemenge voneinander getrennt. Ein Durchlauf kann gesund sein, gerade weil er korrekt festgestellt hat, dass nichts davon eine Ausführung rechtfertigt.

Für Käufer ist daher nicht die Frage „Wie viele Aufgaben kann der Agent erledigen?“ besonders aufschlussreich, sondern: „Was geschieht, wenn jeder Kandidat falsch ist?“ Wenn der Agent so lange weitersucht, bis etwas besteht, fehlt dem System ein sicherer Ausstieg.

Guardrails für KI-Agenten: Die neuen Regeln

Die neuen Kontrollen verändern, wer entscheiden darf, was ausgewählt werden kann und wie Ergebnisse den Plan infrage stellen können. Sie ergänzen die umfassenderen Guardrails und die Begrenzung des Wirkungsradius für KI-Agenten im Produktiveinsatz um konkrete Maßnahmen.

Das sind dokumentierte Kontrollen, kein Erfolgsbericht. Es liegen keine gemessenen Ergebnisse nach dem Umbau vor. Seriös lässt sich nur sagen, dass sich die Regelkette geändert hat – nicht, dass der Traffic gestiegen ist.

Anschaulicher Pseudocode aus den dokumentierten Kontrollen

Der folgende Pseudocode dient der Veranschaulichung und leitet sich ausschließlich aus den dokumentierten Kontrollen ab. Er stammt nicht aus dem Produktionscode und erfindet keinen Schwellenwert.

def plan(orchestrator, desks, vector_memory):
    candidates = orchestrator.collect(desks)
    approved = []

    for candidate in candidates:
        scope = vector_memory.scope(candidate)

        if scope == "out":
            continue

        if scope == "grey":
            send_to_person(candidate)
            continue

        if topic_cap_reached(candidate):
            continue

        if shape_cap_reached(candidate):
            continue

        approved.append(candidate.with_prediction())

    return approved  # an empty list is valid


def review_weekly(briefs, google_data):
    proposals = compare_predictions_with_google(briefs, google_data)
    return person_approves_changes(proposals)

Entscheidend ist nicht die Syntax. Die thematische Grenze ist durchsetzbar, Unsicherheit verschiebt die Entscheidungsbefugnis, der Verzicht bleibt bis zum Rückgabewert erhalten, Themen- und Formatkonzentration werden getrennt betrachtet und beobachtete Ergebnisse können eine Regeländerung anstoßen, ohne sie automatisch anzuwenden.

Was an diesem Fehlschlag übertrieben dargestellt wird

Für diesen Vorfall braucht es weder ein außer Kontrolle geratenes Modell noch geheime Absichten oder einen dramatischen Versuch, die Aufsicht auszutricksen. Aus den Aufzeichnungen geht nicht einmal hervor, welches Modell eingesetzt wurde. Der Editor beschrieb seine Entscheidungen offen und hielt sich an jede Regel.

Genau deshalb reichen Korrekturen allein im Prompt nicht aus. Die Aufforderung, ein Agent solle „relevant bleiben“, löst nichts, solange messbarer Abnahmetest, verpflichtende Ausgabemenge und Wiederholungsregeln weiterhin eine Abweichung belohnen. Die Spezifikation steckt ebenso in Code, Datenzugriff, Abbruchbedingungen und Befugnisgrenzen wie im Prompt.

Auch der Rückgang der Impressionen auf der gesamten Website darf nicht als Beweis für einen Schaden durch die Handarbeitsserie verkauft werden. Beides geschah in derselben Woche, doch die vorliegenden Belege isolieren weder eine Kausalwirkung noch einen Umsatzverlust. Die Folgen zu übertreiben würde den ursprünglichen Fehler wiederholen: ein bequemes Signal mit dem eigentlichen Ergebnis zu verwechseln.

Ebenso wenig ist der Umbau bereits ein Beweis. Thematische Abgrenzung, getrennte Ressorts, Themenbegrenzungen und eine Scorecard sind auf dem Papier besser ausgerichtete Kontrollen. Ihr Wert bleibt eine Prognose, bis gemessene Ergebnisse vorliegen.

Wer jetzt handeln sollte – und wer noch warten kann

Sofortiger Handlungsbedarf besteht, wenn ein Agent seine Arbeit selbst auswählt, folgenreiche Aktionen ausführt und überwiegend anhand einer Ersatzgröße bewertet wird, die er selbst erfüllen kann. Besonders dringend wird es, wenn das System zusätzlich eine Mindestmenge liefern muss, aus seinen eigenen Ergebnissen Folgeaufgaben erzeugt oder das Geschäftsergebnis nicht sehen kann.

Ein tieferer Umbau kann warten, wenn der Agent nur Entwürfe erstellt, ein Mensch jede folgenreiche Handlung genehmigt, eine Ablehnung den Durchlauf beendet und Fehler reversibel sind. Trotzdem sollten Themenkonzentration und Ergebnisabweichung geprüft werden, bevor das System mehr Autonomie erhält.

Teams, die KI lediglich für Vorschläge einsetzen, die anschließend von einem Menschen geprüft und ausgewählt werden, sind von dieser speziellen autonomen Veröffentlichungsschleife weitgehend nicht betroffen. Auch sie können schlechte Ergebnisse erhalten, doch das System kann daraus nicht eigenständig eine anhaltende Handlungskette machen.

Die Entscheidungsregel ist einfach: Je mehr Befugnis ein Agent besitzt, Arbeit auszuwählen und Erfolg zu definieren, desto unabhängiger muss seine Bewertung sein, desto selbstverständlicher muss er nichts tun dürfen und desto konsequenter müssen unklare Fälle die Zuständigkeit wechseln.

Häufig gestellte Frage

Was am Montag zu tun ist

Prüfen Sie einen aktiven Agenten vor seinem nächsten autonomen Durchlauf rückwärts vom Geschäftsergebnis aus.

Wenn Ihr autonomer Workflow diese Grenzen braucht, bevor er mehr Befugnisse erhält, erfahren Sie hier mehr über meinen Ansatz für KI-Produktionssysteme.