Gemini API e analisi video agentica: quando l’88% di token in meno è reale

Il 1 settembre 2026 Google ha introdotto nella Gemini API un modo diverso di leggere i video lunghi: invece di caricare l'intera timeline a una frequenza fissa, il modello può esaminare soltanto la trascrizione, i fotogrammi o l'audio necessari per rispondere alla domanda. Secondo Google, sui video di lunga durata si può arrivare fino all'88% di token in meno, ma si tratta di un valore massimo, non di uno sconto automatico su ogni fattura.

Come funziona l'analisi video AI in modalità agentica nella Gemini API

L'impostazione predefinita tradizionale è l'elaborazione statica. Gemini estrae un fotogramma al secondo, elabora l'audio, inserisce tutto nella finestra di contesto e produce la risposta in un solo passaggio. È un metodo prevedibile: il modello analizza la timeline con una frequenza di campionamento fissa, che la domanda richieda o meno tutto quel materiale.

La nuova alternativa è l'elaborazione agentica. Prima il modello stabilisce quali prove gli servono. Può richiedere una parte della trascrizione, caricare i fotogrammi di un momento rilevante, esaminare l'audio e ripetere il ciclo prima di formulare la risposta. In pratica, Gemini ora cerca dentro il video prima di rispondere sul suo contenuto.

L'analogia più utile è quella di un ricercatore in un archivio video. In modalità statica, ogni bobina scorre davanti alla scrivania. In modalità agentica, il ricercatore consulta il catalogo, recupera la bobina più probabile, controlla la scena precisa e torna a cercare altro solo se il primo elemento non basta.

La funzione è disponibile per gemini-3.7-flash, gemini-3.6-flash e gemini-3.5-flash-lite. Si può usare sia tramite Interactions API sia tramite GenerateContent API. Google consiglia la Interactions API, che userò negli esempi perché la risposta mostra i passaggi di elaborazione compiuti dal modello.

Dietro questo ciclo ci sono due nuovi tipi di passaggio nella risposta. Un processing_call indica che il modello ha richiesto un altro segmento video o una parte della trascrizione; il processing_result corrispondente contiene il risultato ricevuto. La presenza di questi passaggi in interaction.steps conferma che la navigazione agentica è stata eseguita. L'applicazione può mostrarli come avanzamento, ma non deve rispondere come farebbe con una chiamata a una funzione personalizzata.

C'è un confine importante: si tratta di comprensione dei video, non di generazione. Questi tre modelli ricevono un video e restituiscono testo. Per creare o modificare un video serve invece il flusso separato di Gemini Omni Flash.

Perché il dato dell'88% è importante

Con i video, il costo dell'elaborazione statica cresce in modo molto lineare. A bassa risoluzione multimediale, la guida stima circa 100 token per ogni secondo di video. Un'ora arriva quindi a circa 360,000 token di input prima ancora della risposta. Con l'attuale tariffa Standard di Gemini 3.7 Flash o 3.6 Flash, pari a $0.75 per 1 milione di token di input fino al 31 dicembre 2026, quell'input costa circa $0.27.

Applicando l'intera riduzione dell'88% a quel budget si scende a 43,200 token, cioè circa $0.0324 alla stessa tariffa. È lo scenario più interessante: una domanda mirata su una registrazione lunga non richiede più di inserire nel contesto ogni fotogramma campionato.

Ma non è l'intera fattura. L'esplorazione agentica genera token di ragionamento, addebitati alla tariffa di output, e token per l'uso degli strumenti con cui carica trascrizione, audio e fotogrammi. Il modello può inoltre esaminare più materiale quando la domanda è ampia o il video è visivamente denso. Google dichiara una qualità superiore di circa il 7% sui contenuti di lunga durata, ma la guida pubblica non mostra il benchmark alla base di questo dato.

Anche la scelta del modello cambia il costo unitario. Gemini 3.5 Flash-Lite costa $0.30 per 1 milione di token di input e $2.50 per 1 milione di token di output con il piano Standard. Gemini 3.7 Flash e 3.6 Flash costano $0.75 per l'input e $3.75 per l'output fino alla fine del 2026; per entrambi, le tariffe programmate raddoppiano il 1 gennaio 2027.

L'analisi video agentica offre quindi due vantaggi contemporaneamente: permette di far rientrare una fonte più lunga nel budget di contesto e può ridurre la quantità di materiale a pagamento che il modello deve esaminare. Il beneficio è massimo quando la fonte è lunga e la domanda circoscritta.

Chi non noterà differenze? Un team che elabora clip di prodotto da trenta secondi difficilmente otterrà lo stesso vantaggio. Se un flusso conosce già l'esatta sezione di cinque minuti che gli serve, può essere più conveniente ritagliarla e usare la modalità statica. Nemmeno per chi usa l'app Gemini cambia qualcosa: Google ha pubblicato un parametro di elaborazione per le API, non un'opzione nell'app per gli utenti finali.

Chi può sfruttarla fin da subito

Un responsabile L&D con registrazioni formative di un'ora

In una grande azienda, chi guida la formazione e lo sviluppo può caricare la registrazione di un workshop e chiedere le procedure principali, gli esempi associati a ciascuna e un quiz. La modalità agentica può partire dalla trascrizione, recuperare i fotogrammi quando conta una slide o una dimostrazione pratica e ignorare le sezioni non pertinenti.

Il vantaggio non si limita a un riepilogo più economico. La stessa fonte può rispondere a domande mirate come «Che cosa ha detto il relatore sull'escalation?» senza riempire prima la finestra di contesto con ogni fotogramma.

Un responsabile della ricerca SaaS che analizza le interviste ai clienti

Chi si occupa di ricerca di prodotto può chiedere a Gemini di individuare, in un'intervista di un'ora, tutti i momenti in cui il cliente cita difficoltà nell'onboarding, confusione sui prezzi o l'assenza di un flusso di lavoro. La risposta può includere i timestamp, così il ricercatore torna alla registrazione originale prima di trasformare l'output del modello in una decisione di prodotto.

Il risultato è una revisione più rapida senza rinunciare alla possibilità di verifica. Gemini restringe il campo; il ricercatore controlla comunque la clip su cui si basa l'affermazione.

Un team media operations che cerca in un archivio

Un team media può affidare a Gemini un webinar, un'assemblea pubblica o un'intervista di lunga durata e chiedergli quando compare un argomento specifico. È esattamente il tipo di attività per cui è stata progettata la modalità agentica: una timeline estesa e un obiettivo di ricerca preciso.

Il passaggio di consegne è più rapido. L'editor riceve i momenti probabili e i relativi timestamp, non un riepilogo generico dell'intero programma.

Un ingegnere QA che esamina i filmati di ispezione

Un ingegnere QA può usare la modalità agentica per cercare in una lunga registrazione un evento preciso, per esempio l'apertura di una protezione o il cambio di una spia di avvertimento. Una volta individuato un intervallo sospetto, può elaborare quella breve sezione in modalità statica.

Questo secondo passaggio è importante. Quando conta ogni fotogramma campionato, lo strumento giusto resta la modalità statica; Google avverte inoltre che l'elaborazione a un fotogramma al secondo può non cogliere le azioni rapide. In questo flusso, la modalità agentica individua la zona da controllare, mentre quella statica o un sistema di visione dedicato verifica l'evento.

Un prodotto didattico che mantiene viva la conversazione su una lezione

Chi sviluppa un prodotto didattico può creare un'unica interazione attorno a una lezione e consentire allo studente di porre domande successive tramite previous_interaction_id. Il server conserva il contesto del video, quindi non occorre ricostruire l'intera conversazione a ogni turno.

Il risultato è una vera sessione di studio, non un riepilogo isolato. C'è però una condizione legata allo stato: se il prodotto opera in modalità stateless, deve reinviare ogni passaggio di elaborazione restituito, altrimenti la risposta successiva perde il contesto del video.

Come usare la modalità agentica con la Interactions API

Il percorso più breve con una struttura adatta alla produzione usa l'SDK ufficiale Google Gen AI per Python e la Files API. Conviene usare la Files API per un video di durata significativa, per qualsiasi contenuto su cui si intenda fare più di una domanda e quando la richiesta complessiva supera 20 MB.

1. 1

   Imposta la chiave API e installa l'SDK

   Crea una chiave Gemini API in Google AI Studio, salvala in GEMINI_API_KEY, quindi installa l'SDK corrente:

   export GEMINI_API_KEY="YOUR_API_KEY"
   pip install -U google-genai

2. 2

   Carica il video e richiedi l'elaborazione agentica

   Sostituisci il percorso con quello di un video locale. L'esempio riprende il flusso Python della guida Google ai video agentici:

   import time
   from google import genai
   
   client = genai.Client()
   
   # Upload a long video
   video_file = client.files.upload(file="path/to/lecture.mp4")
   
   while video_file.state.name == "PROCESSING":
       time.sleep(2)
       video_file = client.files.get(name=video_file.name)
   
   # Use agentic processing
   interaction = client.interactions.create(
       model="gemini-3.7-flash",
       input=[
           {
               "type": "video",
               "uri": video_file.uri,
               "mime_type": video_file.mime_type,
               "processing": "agentic"
           },
           {"type": "text", "text": "What are the three main arguments presented?"}
       ]
   )
   print(interaction.output_text)

3. 3

   Verifica la modalità prima di fidarti del test

   Controlla interaction.steps. Prima del model_output finale dovrebbero comparire voci processing_call e processing_result. In caso contrario, il test non dimostra che la richiesta abbia usato la navigazione dinamica.

4. 4

   Confronta le metriche che contano

   Esegui gli stessi video e le stesse domande rappresentative in modalità statica e agentica. Confronta i token di input totali, i token di ragionamento, quelli per l'uso degli strumenti, il tempo al primo token, la qualità della risposta e il costo finale. L'88% è il massimo dichiarato dal fornitore: sarà il mix dei prompt a stabilire se il vantaggio resiste alla prova della produzione.

L'errore più facile è inserire processing nella richiesta anziché nell'oggetto video. Il parametro deve trovarsi all'interno di quell'input video. Se una richiesta contiene più video, ciascuno può adottare una modalità diversa: una lunga lezione può essere agentica mentre la breve clip di un esperimento resta statica.

Anche l'ordine del prompt conta. Quando si inviano un video e del testo, Google consiglia di mettere prima il video e poi il prompt testuale, proprio come nell'esempio.

Limiti da conoscere prima di scegliere l'AI agentica

La modalità agentica sostituisce una scansione fissa con un ciclo di ricerca. Nelle clip sotto i cinque minuti, questo ciclo può aumentare leggermente il tempo al primo token: prima di avviare la risposta finale, il modello ragiona, richiede il materiale e attende i risultati degli strumenti interni. Se la clip è breve e l'applicazione è sensibile alla latenza, la modalità statica rimane l'impostazione predefinita più lineare.

I controlli personalizzati per ritaglio e frequenza dei fotogrammi segnano un altro confine netto. start_offset, end_offset e un fps personalizzato funzionano soltanto con l'elaborazione statica. Se l'intervallo esatto è già noto, ritagliare una richiesta statica può essere più semplice e prevedibile che chiedere al modello di trovarlo di nuovo.

I limiti di input richiedono attenzione perché la guida attuale di Google si contraddice. La tabella comparativa indica per i dati inline una soglia inferiore a 100 MB, mentre la sezione dettagliata sull'inline afferma che la richiesta totale deve rimanere sotto 20 MB e invita esplicitamente a usare la Files API oltre 20 MB. Finché Google non rende coerente la pagina, è prudente attenersi alla soglia conservativa di 20 MB.

La File API consente file fino a 20 GB sugli account a pagamento e fino a 2 GB su quelli gratuiti. I modelli con una finestra di contesto da 1,048,576 token possono elaborare fino a tre ore di video a bassa risoluzione o un'ora ad alta risoluzione. Gli URL pubblici di YouTube funzionano, quelli privati e non in elenco no. Il piano gratuito limita inoltre l'input da YouTube a otto ore al giorno.

Lo stato multi-turn nasconde un'insidia in produzione. Le richieste stateful che usano previous_interaction_id conservano sul server il contesto del video. Le richieste stateless devono invece reinviare ogni passaggio processing_call e processing_result. Ometterli al momento non genera un errore, ma secondo Google il contesto del video scompare e la qualità delle risposte successive cala nettamente. Il reinvio dei passaggi significa anche più token di input.

Infine, recuperare un'informazione non significa verificarla. Le stesse indicazioni di sicurezza di Google avvertono che gli output del modello possono essere inesatti e considerano essenziali il post-processing e la valutazione umana. Per decisioni mediche, legali, di sicurezza, di conformità o che richiedono precisione sul singolo fotogramma, usa Gemini per trovare le prove e mantieni una persona o un sistema deterministico nel processo di approvazione.

Come decidere adesso

Usa la modalità agentica già questa settimana se il prodotto invia lunghe registrazioni a Gemini e pone domande circoscritte su momenti, argomenti o tesi. Parti da Gemini 3.7 Flash quando la priorità è la qualità della risposta; prova Gemini 3.5 Flash-Lite quando prevalgono volume e costo.

Mantieni la modalità statica se le clip sono brevi, conta la latenza iniziale, servono ritaglio o frequenza dei fotogrammi personalizzata oppure l'attività richiede una scansione uniforme dell'intera timeline. La nuova opzione non rende obsoleta la precedente: aggiunge una seconda strategia di lettura.

Aspetta se il prodotto non sa ancora acquisire separatamente i diversi campi di utilizzo o confrontare le risposte con i timestamp della fonte. Senza questi riscontri non è possibile capire se la navigazione agentica abbia davvero ridotto i costi o abbia soltanto spostato i token da una categoria all'altra.

Non cambia nulla se l'esigenza è generare video, usare una funzione consumer di Gemini o ottenere un'analisi deterministica fotogramma per fotogramma. Sono prodotti diversi e problemi tecnici diversi.

Se vuoi trasformare il prossimo cambiamento di piattaforma in una decisione operativa, iscriviti alla newsletter.