IA para analisar vídeos: como o Gemini reduz até 88% dos tokens

Em 1 de setembro de 2026, o Google deu à API Gemini uma nova forma de usar IA para analisar vídeos longos: em vez de carregar toda a linha do tempo a uma taxa fixa, o modelo agora pode consultar apenas a transcrição, os frames ou o áudio necessários para responder à pergunta. Segundo o Google, a redução pode chegar a 88% dos tokens em vídeos longos — mas esse número é um teto, não um desconto automático em qualquer fatura.

O que é, na prática, a compreensão agêntica de vídeo do Gemini

O padrão tradicional é o processamento estático. O Gemini extrai um frame por segundo, processa o áudio, coloca esse material na janela de contexto e responde em uma única passagem. É um método previsível: o modelo percorre a linha do tempo com uma taxa fixa de amostragem, mesmo quando a pergunta não exige todo esse conteúdo.

A nova opção é o processamento agêntico. Primeiro, o modelo identifica de quais evidências precisa. Depois, pode solicitar um trecho da transcrição, carregar frames de um momento relevante, examinar o áudio e repetir esse ciclo antes de formular a resposta. Em termos simples, o Gemini agora pesquisa dentro do vídeo antes de responder sobre ele.

Pense em um pesquisador diante de um arquivo de vídeos. No modo estático, todos os rolos passam pela mesa. No modo agêntico, ele consulta o catálogo, separa o rolo mais provável, confere a cena exata e só busca outro trecho se o primeiro não bastar.

O recurso foi lançado para gemini-3.7-flash, gemini-3.6-flash e gemini-3.5-flash-lite. Ele funciona tanto pela Interactions API quanto pela GenerateContent API. A Interactions API é o caminho recomendado, e é ela que uso a seguir porque a resposta expõe as etapas de processamento do modelo.

Esse ciclo introduz dois novos tipos de etapa na resposta. Um processing_call indica que o modelo solicitou outro segmento do vídeo ou da transcrição. O processing_result correspondente contém o material retornado. Quando esses tipos aparecem em interaction.steps, a navegação agêntica foi executada. O aplicativo pode exibi-los como progresso, mas não precisa respondê-los como se fossem chamadas de função personalizadas.

Há uma fronteira importante: trata-se de compreensão de vídeo, não de geração. Esses três modelos recebem vídeo e devolvem texto. Para criar ou editar vídeos, o fluxo separado é o do Gemini Omni Flash.

Por que a redução de 88% importa

O custo do vídeo estático cresce de forma bastante mecânica. Em baixa resolução de mídia, o guia estima cerca de 100 tokens para cada segundo de vídeo. Uma hora, portanto, chega a aproximadamente 360,000 tokens de entrada antes mesmo da resposta. Pela tarifa Standard atual do Gemini 3.7 Flash ou 3.6 Flash, de $0.75 por 1 milhão de tokens de entrada até 31 de dezembro de 2026, essa entrada custa cerca de $0.27.

Aplicando a redução total de 88% a esse orçamento de entrada, o resultado é 43,200 tokens, ou aproximadamente $0.0324 na mesma tarifa. Esse é o cenário atraente: uma pergunta específica sobre uma gravação longa deixa de exigir que cada frame amostrado ocupe a janela de contexto.

Mas isso não representa a fatura inteira. A exploração agêntica gera tokens de raciocínio, cobrados pela tarifa de saída, e tokens de uso de ferramentas para a transcrição, o áudio e os frames carregados. O modelo também pode examinar mais material quando a pergunta é ampla ou o vídeo tem alta densidade visual. O Google informa uma qualidade aproximadamente 7% maior em conteúdo longo, porém o guia público não apresenta o benchmark por trás desse número.

A escolha do modelo também muda o preço unitário. O Gemini 3.5 Flash-Lite custa $0.30 por 1 milhão de tokens de entrada e $2.50 por 1 milhão de tokens de saída no plano Standard. Gemini 3.7 Flash e 3.6 Flash custam $0.75 na entrada e $3.75 na saída até o fim de 2026; as duas tarifas programadas dobram em 1 de janeiro de 2027.

Isso torna o vídeo agêntico útil em duas frentes ao mesmo tempo. Ele pode acomodar uma fonte mais longa no orçamento de contexto e reduzir o volume de material pago que o modelo precisa examinar. O ganho é maior quando a fonte é extensa e a pergunta, específica.

Para quem nada muda? Uma equipe que processa clipes de produto com trinta segundos dificilmente verá o mesmo benefício. Um fluxo que já conhece o trecho exato de cinco minutos pode ganhar mais ao recortá-lo e usar o modo estático. Quem usa o aplicativo Gemini como consumidor também não recebe um novo botão: o Google lançou um parâmetro de processamento para a API, não um controle para o usuário final.

Quem já pode usar o recurso amanhã

Uma liderança de T&D com treinamentos de uma hora

Uma liderança de treinamento e desenvolvimento em uma grande empresa pode enviar a gravação de um workshop e pedir os principais procedimentos, os exemplos associados a cada um e um questionário. O modo agêntico pode começar pela transcrição, buscar frames quando um slide ou uma demonstração física for relevante e ignorar os trechos sem relação com a tarefa.

O retorno não se resume a um resumo mais barato. A mesma fonte permite perguntas pontuais, como “O que o apresentador disse sobre escalonamento?”, sem antes lotar a janela de contexto com todos os frames.

Uma liderança de pesquisa em SaaS revisando entrevistas com clientes

Uma liderança de pesquisa de produto pode analisar uma entrevista de uma hora e pedir todos os momentos em que o cliente menciona atrito no onboarding, confusão com preços ou a ausência de um fluxo de trabalho. A resposta pode trazer timestamps para que o pesquisador volte à gravação original antes de transformar a saída do modelo em uma decisão de produto.

O ganho está na velocidade da revisão sem perder a trilha de auditoria. O Gemini reduz o universo de imagens; o pesquisador ainda confere o trecho que sustenta cada afirmação.

Uma equipe de operações de mídia pesquisando um acervo

Uma equipe de mídia pode apontar o Gemini para um webinar, uma reunião geral ou uma entrevista longa e pedir o momento em que determinado assunto aparece. Esse é exatamente o formato para o qual o modo agêntico foi criado: uma linha do tempo extensa e uma tarefa específica de recuperação.

O resultado é uma passagem de trabalho mais rápida. Em vez de um resumo vago de todo o programa, o editor recebe os momentos prováveis e seus timestamps.

Um engenheiro de QA industrial triando imagens de inspeção

Um engenheiro de QA pode usar o modo agêntico para procurar um evento específico em uma gravação longa de câmera, como a abertura de uma proteção ou a mudança de uma luz de alerta. Depois que o Gemini encontrar um intervalo suspeito, o engenheiro pode processar esse trecho curto no modo estático.

Essa segunda etapa é importante. O modo estático continua sendo a ferramenta adequada quando cada frame amostrado conta, e o Google alerta que o processamento de um frame por segundo pode deixar passar ações rápidas. Nesse fluxo, o modo agêntico localiza a região; em seguida, o modo estático ou um sistema de visão dedicado verifica o evento.

Um produto educacional que mantém a conversa sobre a aula

Quem desenvolve um produto educacional pode criar uma interação em torno de uma aula e permitir que o estudante faça perguntas complementares com previous_interaction_id. O servidor preserva o contexto do vídeo, evitando que o produto reconstrua toda a conversa a cada rodada.

O benefício é uma sessão de estudo de verdade, e não apenas um resumo isolado. A ressalva está no estado: se o produto operar de forma stateless, precisará reenviar cada etapa de processamento retornada; caso contrário, a próxima resposta perde o contexto do vídeo.

Como usar IA para analisar vídeos com a Interactions API

O caminho mais curto com formato de produção usa o SDK oficial Google Gen AI para Python e a Files API. Prefira a Files API para vídeos de duração relevante, para qualquer arquivo que será consultado mais de uma vez e quando a solicitação total ultrapassar 20 MB.

1. 1

   Configure a chave da API e instale o SDK

   Crie uma chave da API Gemini no Google AI Studio, armazene-a em GEMINI_API_KEY e instale o SDK atual:

   export GEMINI_API_KEY="YOUR_API_KEY"
   pip install -U google-genai

2. 2

   Envie o vídeo e solicite o processamento agêntico

   Troque o caminho pelo de um vídeo local. Este exemplo reproduz o fluxo em Python do guia de vídeo agêntico do Google:

   import time
   from google import genai
   
   client = genai.Client()
   
   # Upload a long video
   video_file = client.files.upload(file="path/to/lecture.mp4")
   
   while video_file.state.name == "PROCESSING":
       time.sleep(2)
       video_file = client.files.get(name=video_file.name)
   
   # Use agentic processing
   interaction = client.interactions.create(
       model="gemini-3.7-flash",
       input=[
           {
               "type": "video",
               "uri": video_file.uri,
               "mime_type": video_file.mime_type,
               "processing": "agentic"
           },
           {"type": "text", "text": "What are the three main arguments presented?"}
       ]
   )
   print(interaction.output_text)

3. 3

   Confirme o modo antes de confiar no teste

   Examine interaction.steps. Antes do model_output final, devem aparecer entradas processing_call e processing_result. Sem elas, o teste não comprova que a solicitação usou navegação dinâmica.

4. 4

   Meça a comparação que realmente importa

   Execute os mesmos vídeos e perguntas representativos nos modos estático e agêntico. Compare o total de tokens de entrada, os tokens de raciocínio, os tokens de uso de ferramentas, o tempo até o primeiro token, a qualidade da resposta e o custo final. Os 88% são um máximo divulgado pelo fornecedor. É o conjunto de prompts da sua aplicação que dirá se esse ganho sobrevive ao uso em produção.

O erro mais fácil de cometer é colocar processing na solicitação, e não no objeto de vídeo. O parâmetro deve ficar dentro da entrada de vídeo. Quando uma solicitação contém vários vídeos, cada um pode adotar um modo diferente: uma aula longa pode usar o modo agêntico enquanto um clipe curto de experimento permanece no estático.

A ordem do prompt também importa. Para um vídeo acompanhado de texto, o Google recomenda colocar primeiro o vídeo e depois o prompt de texto, como no exemplo.

O que precisa ser dito com franqueza

O modo agêntico troca uma varredura fixa por um ciclo de busca. Em clipes com menos de cinco minutos, esse ciclo pode aumentar ligeiramente o tempo até o primeiro token, pois o modelo raciocina, solicita material e aguarda os resultados das ferramentas internas antes de iniciar a resposta final. Se o clipe é curto e a aplicação é sensível à latência, o modo estático continua sendo o padrão mais simples.

Os controles personalizados de recorte e taxa de frames são outra limitação rígida. start_offset, end_offset e um fps personalizado funcionam apenas com processamento estático. Quando o intervalo exato já é conhecido, recortar uma solicitação estática pode ser mais simples e previsível do que pedir ao modelo que o encontre novamente.

Os limites de entrada exigem atenção porque o guia atual do Google se contradiz. A tabela comparativa classifica os dados inline como inferiores a 100 MB, mas a seção detalhada afirma que a solicitação total deve ficar abaixo de 20 MB e orienta explicitamente o uso da Files API acima de 20 MB. Até que o Google harmonize a página, siga o limite conservador de 20 MB.

A própria File API permite arquivos de até 20 GB em contas pagas e 2 GB em contas gratuitas. Modelos com uma janela de contexto de 1,048,576 tokens podem processar até três horas de vídeo em baixa resolução ou uma hora em alta resolução. URLs públicas do YouTube funcionam, mas vídeos privados e não listados, não. No nível gratuito, a entrada do YouTube também é limitada a oito horas por dia.

O estado em conversas de vários turnos esconde uma armadilha de produção. Solicitações stateful com previous_interaction_id mantêm o contexto do vídeo no servidor. Já as solicitações stateless precisam reenviar cada etapa processing_call e processing_result. Omitir essas etapas hoje não gera erro, mas, segundo o Google, o contexto do vídeo desaparece e a qualidade das respostas seguintes cai bastante. Reproduzir as etapas também acrescenta tokens de entrada.

Por fim, localizar não é verificar. As próprias orientações de segurança do Google alertam que as saídas do modelo podem estar incorretas e tratam o pós-processamento e a avaliação humana como essenciais. Em decisões médicas, jurídicas, de segurança, conformidade ou que exijam precisão de frame, use o Gemini para encontrar a evidência e mantenha uma pessoa ou um sistema determinístico no fluxo de aprovação.

O que fazer agora

Use o modo agêntico nesta semana se o seu produto envia gravações longas ao Gemini e faz perguntas específicas sobre momentos, assuntos ou argumentos. Comece pelo Gemini 3.7 Flash quando a prioridade for a qualidade da resposta e teste o Gemini 3.5 Flash-Lite quando volume e custo forem decisivos.

Mantenha o modo estático se os clipes forem curtos, a latência inicial importar, houver necessidade de recorte ou taxa de frames personalizada, ou o trabalho exigir uma varredura consistente de toda a linha do tempo. A nova opção não torna a anterior obsoleta; ela oferece uma segunda estratégia de leitura.

Espere se o produto ainda não consegue registrar separadamente os campos de uso ou comparar as respostas com os timestamps da fonte. Sem esses comprovantes, não há como saber se a navegação agêntica economizou dinheiro ou apenas deslocou tokens entre categorias.

Nada muda se a necessidade for geração de vídeo, um recurso do Gemini para consumidores ou análise determinística frame a frame. São produtos diferentes para problemas técnicos diferentes.

Se quiser transformar a próxima mudança de plataforma em uma decisão prática, assine a newsletter.