KI-Videoanalyse mit Gemini: Wann 88% weniger Tokens realistisch sind

Am 1. September 2026 führte Google für die Gemini API eine neue Methode zur Auswertung langer Videos ein: Statt die gesamte Zeitleiste mit einer festen Rate einzulesen, kann das Modell gezielt die Transkriptpassagen, Frames oder Audiodaten abrufen, die es für die jeweilige Frage benötigt. Google spricht bei dieser KI-Videoanalyse von bis zu 88% weniger Tokens bei langen Videos. Das ist jedoch ein Höchstwert und kein pauschaler Rabatt auf jede Rechnung.

Was Geminis agentische KI-Videoanalyse tatsächlich macht

Bislang ist die statische Verarbeitung der Standard. Gemini extrahiert ein Bild pro Sekunde, verarbeitet die Audiospur, legt das Material im Kontextfenster ab und formuliert die Antwort in einem Durchgang. Das ist gut kalkulierbar, weil das Modell die Zeitleiste unabhängig von der Frage mit einer festen Abtastrate erfasst.

Neu hinzugekommen ist die agentische Verarbeitung. Dabei entscheidet das Modell zunächst, welche Belege es braucht. Es kann einen Abschnitt des Transkripts anfordern, Frames aus einem relevanten Moment laden, die Audiospur prüfen und diese Schleife wiederholen, bevor es antwortet. Vereinfacht gesagt: Gemini durchsucht nun erst das Video und beantwortet anschließend die Frage dazu.

Anschaulich wird der Unterschied mit einem Rechercheur in einem Videoarchiv. Im statischen Modus läuft jede Filmrolle über den Schreibtisch. Im agentischen Modus prüft der Rechercheur zunächst den Katalog, holt die wahrscheinlich passende Rolle, kontrolliert die konkrete Szene und sucht nur dann weiter, wenn der erste Fund nicht ausreicht.

Verfügbar ist das Feature für gemini-3.7-flash, gemini-3.6-flash und gemini-3.5-flash-lite. Es funktioniert sowohl über die Interactions API als auch über die GenerateContent API. Google empfiehlt die Interactions API. Sie kommt auch im folgenden Beispiel zum Einsatz, weil die Antwort die einzelnen Verarbeitungsschritte des Modells offenlegt.

Hinter dieser Schleife stehen zwei neue Typen von Antwortschritten. Ein processing_call zeigt an, dass das Modell einen weiteren Videoabschnitt oder einen Teil des Transkripts angefordert hat. Das zugehörige processing_result enthält das abgerufene Material. Tauchen diese Schritttypen in interaction.steps auf, wurde die agentische Navigation ausgeführt. Eine Anwendung kann sie als Fortschrittsanzeige darstellen, muss sie aber nicht wie einen benutzerdefinierten Funktionsaufruf beantworten.

Eine Abgrenzung ist wichtig: Hier geht es um Videoverständnis, nicht um Videogenerierung. Die drei Modelle nehmen Videos entgegen und geben Text zurück. Wer Videos erstellen oder bearbeiten möchte, braucht stattdessen den separaten Workflow mit Gemini Omni Flash.

Warum die Zahl von 88% relevant ist

Bei der statischen Videoverarbeitung steigen die Kosten nach einem einfachen Schema. Für eine niedrige Medienauflösung veranschlagt der Leitfaden etwa 100 Tokens pro Videosekunde. Eine Stunde kommt damit schon vor der Antwort auf rund 360,000 Eingabe-Tokens. Zum aktuellen Standardtarif von Gemini 3.7 Flash oder 3.6 Flash in Höhe von $0.75 pro 1 Million Eingabe-Tokens bis zum 31. Dezember 2026 kostet diese Eingabe ungefähr $0.27.

Wird die volle Reduktion von 88% auf dieses Eingabebudget angewendet, bleiben 43,200 Tokens beziehungsweise rund $0.0324 zum gleichen Tarif. Das ist der attraktive Anwendungsfall: Für eine gezielte Frage zu einer langen Aufnahme müssen nicht mehr alle abgetasteten Frames im Kontext liegen.

Damit ist allerdings nicht die gesamte Rechnung beschrieben. Die agentische Suche erzeugt Denk-Tokens, die zum Ausgabetarif abgerechnet werden, sowie Tool-Nutzungs-Tokens für geladene Transkripte, Audiodaten und Frames. Bei einer weit gefassten Frage oder visuell dichten Aufnahmen kann das Modell zudem mehr Material untersuchen. Google meldet bei langen Inhalten eine um etwa 7% höhere Qualität, veröffentlicht im Leitfaden aber nicht den Benchmark hinter diesem Wert.

Auch das gewählte Modell verändert den Stückpreis. Gemini 3.5 Flash-Lite kostet im Standardtarif $0.30 pro 1 Million Eingabe-Tokens und $2.50 pro 1 Million Ausgabe-Tokens. Bei Gemini 3.7 Flash und 3.6 Flash liegen die Preise bis Ende 2026 bei $0.75 für die Eingabe und $3.75 für die Ausgabe; am 1. Januar 2027 sollen sich beide Tarife verdoppeln.

Agentische Videoanalyse wirkt damit auf zwei Ebenen: Eine längere Quelle passt eher in das Kontextbudget, und das Modell muss weniger kostenpflichtiges Material prüfen. Am größten ist der Vorteil bei einer langen Quelle und einer eng umrissenen Frage.

Wer profitiert nicht? Ein Team, das dreißigsekündige Produktclips verarbeitet, wird kaum denselben Effekt sehen. Kennt ein Workflow bereits den exakten fünfminütigen Abschnitt, kann es sinnvoller sein, diesen auszuschneiden und statisch zu verarbeiten. Auch in der Gemini-App gibt es für Endnutzer keinen neuen Schalter. Google hat einen Verarbeitungsparameter für die API veröffentlicht, keine Funktion für die Consumer-App.

Für wen sich KI-Videoanalyse mit Gemini direkt lohnt

L&D-Verantwortliche mit einstündigen Schulungsaufzeichnungen

Verantwortliche für Learning & Development in einem großen Unternehmen können einen aufgezeichneten Workshop hochladen und nach den wichtigsten Abläufen, den jeweils zugehörigen Beispielen und einem Quiz fragen. Der agentische Modus kann mit dem Transkript beginnen, Frames zu einer wichtigen Folie oder praktischen Demonstration abrufen und irrelevante Abschnitte auslassen.

Der Nutzen beschränkt sich nicht auf eine günstigere Zusammenfassung. Dieselbe Quelle lässt sich gezielt befragen, etwa: „Was hat die vortragende Person zur Eskalation gesagt?“ Dafür muss das Kontextfenster nicht zuerst mit jedem Frame gefüllt werden.

SaaS-Research-Leads bei der Auswertung von Kundeninterviews

Ein Product-Research-Lead kann ein einstündiges Interview nach allen Stellen durchsuchen lassen, an denen Kunden Schwierigkeiten beim Onboarding, Unklarheiten bei der Preisgestaltung oder einen fehlenden Workflow erwähnen. Die Antwort kann Zeitstempel enthalten, sodass die Originalaufnahme geprüft wird, bevor eine Modellausgabe in eine Produktentscheidung einfließt.

Der Gewinn liegt in einer schnelleren Auswertung mit nachvollziehbarem Prüfpfad. Gemini grenzt die relevanten Aufnahmen ein; der Rechercheur kontrolliert weiterhin den Clip, auf dem die Aussage beruht.

Medienteams bei der Archivsuche

Ein Medienteam kann Gemini ein langes Webinar, eine Townhall oder ein Interview durchsuchen und den Moment finden lassen, in dem ein bestimmtes Thema vorkommt. Genau dafür wurde der agentische Modus entwickelt: eine umfangreiche Zeitleiste und ein konkreter Suchauftrag.

Das beschleunigt die Übergabe. Statt einer groben Zusammenfassung des gesamten Programms erhält die Redaktion wahrscheinliche Fundstellen samt Zeitstempeln.

Qualitätssicherung in der Fertigung bei der Sichtung von Prüfaufnahmen

Ein QS-Ingenieur kann mit dem agentischen Modus eine lange Kameraaufzeichnung nach einem bestimmten Ereignis durchsuchen, etwa dem Öffnen einer Schutzvorrichtung oder dem Wechsel einer Warnleuchte. Hat Gemini ein verdächtiges Zeitfenster gefunden, lässt sich dieser kurze Abschnitt statisch verarbeiten.

Dieser zweite Schritt ist entscheidend. Wenn jeder abgetastete Frame zählt, bleibt der statische Modus das richtige Werkzeug. Google weist zudem darauf hin, dass eine Verarbeitung mit einem Bild pro Sekunde schnelle Bewegungen übersehen kann. Der agentische Modus lokalisiert in diesem Workflow zunächst den relevanten Bereich; anschließend bestätigt der statische Modus oder ein spezialisiertes Bildverarbeitungssystem das Ereignis.

Bildungsprodukte mit Rückfragen zu Vorlesungen

Ein Anbieter von Bildungssoftware kann eine Interaktion rund um eine Vorlesung aufbauen und Lernenden anschließend Folgefragen mit previous_interaction_id ermöglichen. Der Server behält den Videokontext, sodass die Anwendung nicht bei jeder Frage das gesamte Gespräch neu zusammensetzen muss.

So entsteht eine echte Lernsitzung statt einer einmaligen Zusammenfassung. Der Haken ist die Zustandsverwaltung: Arbeitet das Produkt zustandslos, muss es jeden zurückgegebenen Verarbeitungsschritt erneut senden. Andernfalls fehlt der nächsten Antwort der Videokontext.

So lassen sich Videos mit Gemini über die Interactions API analysieren

Der kürzeste produktionsnahe Weg führt über das offizielle Google Gen AI Python SDK und die Files API. Die Files API eignet sich für Videos mit nennenswerter Laufzeit, für Material, das mehr als einmal befragt werden soll, und für jede Gesamtanfrage über 20 MB.

1. 1

   API-Schlüssel setzen und SDK installieren

   Einen Gemini-API-Schlüssel in Google AI Studio erstellen, in GEMINI_API_KEY hinterlegen und anschließend das aktuelle SDK installieren:

   export GEMINI_API_KEY="YOUR_API_KEY"
   pip install -U google-genai

2. 2

   Video hochladen und agentische Verarbeitung anfordern

   Den Pfad durch ein lokales Video ersetzen. Dieses Beispiel entspricht dem Python-Ablauf aus Googles Leitfaden zur agentischen Videoanalyse:

   import time
   from google import genai
   
   client = genai.Client()
   
   # Upload a long video
   video_file = client.files.upload(file="path/to/lecture.mp4")
   
   while video_file.state.name == "PROCESSING":
       time.sleep(2)
       video_file = client.files.get(name=video_file.name)
   
   # Use agentic processing
   interaction = client.interactions.create(
       model="gemini-3.7-flash",
       input=[
           {
               "type": "video",
               "uri": video_file.uri,
               "mime_type": video_file.mime_type,
               "processing": "agentic"
           },
           {"type": "text", "text": "What are the three main arguments presented?"}
       ]
   )
   print(interaction.output_text)

3. 3

   Vor der Auswertung prüfen, ob der Modus aktiv war

   interaction.steps kontrollieren. Einträge für processing_call und processing_result sollten vor dem abschließenden model_output erscheinen. Fehlen sie, ist nicht belegt, dass die Anfrage die dynamische Navigation verwendet hat.

4. 4

   Mit den richtigen Kennzahlen vergleichen

   Dieselben repräsentativen Videos und Fragen sowohl im statischen als auch im agentischen Modus ausführen. Zu vergleichen sind die gesamten Eingabe-Tokens, Denk-Tokens, Tool-Nutzungs-Tokens, die Zeit bis zum ersten Token, die Antwortqualität und die Endkosten. Die 88% sind ein vom Anbieter genannter Höchstwert. Der eigene Prompt-Mix entscheidet, was davon im Produktivbetrieb übrig bleibt.

Der häufigste Fehler besteht darin, processing auf der Anfrage statt auf dem Videoobjekt zu platzieren. Der Parameter gehört in die jeweilige Videoeingabe. Enthält eine Anfrage mehrere Videos, kann jedes davon einen eigenen Modus verwenden: Eine lange Vorlesung lässt sich agentisch auswerten, während ein kurzer Versuchsclip statisch bleibt.

Auch die Reihenfolge im Prompt ist relevant. Bei einem Video plus Text empfiehlt Google, zuerst das Video und danach den Text-Prompt zu senden – genau wie im Beispiel.

Die ehrliche Einordnung

Der agentische Modus ersetzt einen festen Scan durch eine Suchschleife. Bei Clips unter fünf Minuten kann diese Schleife die Zeit bis zum ersten Token leicht verlängern: Das Modell überlegt, fordert Material an und wartet auf interne Tool-Ergebnisse, bevor es die endgültige Antwort beginnt. Für kurze, latenzkritische Clips bleibt der statische Modus die klarere Voreinstellung.

Eine weitere harte Grenze betrifft eigene Ausschnitte und Frameraten. start_offset, end_offset und ein benutzerdefinierter fps-Wert funktionieren nur bei statischer Verarbeitung. Steht das genaue Zeitfenster bereits fest, ist eine zugeschnittene statische Anfrage oft einfacher und besser planbar, als das Modell erneut danach suchen zu lassen.

Bei den Eingabegrenzen ist Vorsicht geboten, weil sich Googles aktueller Leitfaden widerspricht. Die Vergleichstabelle nennt für Inline-Daten eine Grenze von unter 100 MB. Der ausführliche Inline-Abschnitt begrenzt die gesamte Anfrage dagegen auf 20 MB und verweist oberhalb von 20 MB ausdrücklich auf die Files API. Bis Google die Angaben vereinheitlicht, ist der konservative Schwellenwert von 20 MB die sichere Wahl.

Die File API selbst erlaubt auf kostenpflichtigen Konten Dateien bis 20 GB, auf kostenlosen Konten bis 2 GB. Modelle mit einem Kontextfenster von 1,048,576 Tokens können bis zu drei Stunden Video in niedriger Auflösung oder eine Stunde in hoher Auflösung verarbeiten. Öffentliche YouTube-URLs funktionieren, private und nicht gelistete Videos dagegen nicht. Im kostenlosen Tarif ist die YouTube-Eingabe außerdem auf acht Stunden pro Tag begrenzt.

Bei mehrstufigen Gesprächen birgt die Zustandsverwaltung eine Falle für den Produktivbetrieb. Zustandsbehaftete Anfragen mit previous_interaction_id halten den Videokontext auf dem Server. Zustandslose Anfragen müssen dagegen jeden Schritt vom Typ processing_call und processing_result erneut mitsenden. Werden diese Schritte ausgelassen, entsteht derzeit zwar kein Fehler. Laut Google geht jedoch der Videokontext verloren und die Qualität der Folgeantwort sinkt deutlich. Das erneute Senden der Schritte erzeugt außerdem weitere Eingabe-Tokens.

Und schließlich gilt: Auffinden ist nicht Verifizieren. Googles eigene Sicherheitshinweise betonen, dass Modellausgaben fehlerhaft sein können und Nachbearbeitung sowie menschliche Evaluation unverzichtbar sind. Bei medizinischen, juristischen, sicherheitskritischen, Compliance-relevanten oder framegenauen Entscheidungen sollte Gemini lediglich die Belege lokalisieren; die Freigabe bleibt bei einem Menschen oder einem deterministischen System.

Was jetzt zu tun ist

Der agentische Modus lohnt sich schon diese Woche, wenn ein Produkt lange Aufzeichnungen an Gemini sendet und gezielte Fragen zu bestimmten Momenten, Themen oder Argumenten stellt. Wenn die Antwortqualität Vorrang hat, ist Gemini 3.7 Flash der Startpunkt. Dominiert bei hohem Volumen der Kostenfaktor, sollte Gemini 3.5 Flash-Lite getestet werden.

Der statische Modus bleibt die richtige Wahl, wenn Clips kurz sind, die Startlatenz zählt, Ausschnitte oder eine eigene Framerate benötigt werden oder der Auftrag einen gleichmäßigen Scan der gesamten Zeitleiste verlangt. Die neue Option ersetzt die alte nicht, sondern ergänzt sie um eine zweite Lesestrategie.

Abwarten ist sinnvoll, wenn ein Produkt die getrennten Nutzungsfelder noch nicht erfassen oder Antworten nicht mit den Zeitstempeln der Quelle abgleichen kann. Ohne diese Nachweise bleibt offen, ob die agentische Navigation wirklich Geld spart oder Tokens lediglich zwischen Kategorien verschiebt.

Ohne Auswirkung ist die Neuerung für Videogenerierung, Gemini-Funktionen für Endnutzer und deterministische Frame-für-Frame-Analysen. Dahinter stehen jeweils andere Produkte und technische Anforderungen.

Wenn die nächste Plattformänderung wieder in eine konkrete Entscheidung übersetzt werden soll, lohnt sich der Newsletter.