VLM: come usarli nelle app e verificarne le risposte

I VLM (vision language models), o modelli visione-linguaggio, permettono di interpretare screenshot, grafici, documenti scansionati e foto di prodotti. Prima di usare le risposte nella propria app, però, occorrono controlli diversi per questi 4 tipi di input. Se le regole sul trattamento dei dati lo consentono, conviene partire da un progetto pilota circoscritto tramite API; eseguire un modello a pesi aperti sulla propria infrastruttura ha senso quando lo giustificano l’elaborazione locale o esigenze operative misurate sul campo.

Un’API permette alla propria app di interrogare un modello ospitato dal fornitore. I pesi aperti sono i parametri scaricabili di un modello, che consentono di eseguirlo su un’infrastruttura sotto il proprio controllo.

Un modello può descrivere una dashboard in modo convincente e leggere male il numero scritto più in piccolo. In un prodotto, il perimetro utile è quello dei risultati verificabili: una bozza di descrizione di un prodotto, un campo estratto da un documento con la relativa fonte, oppure un’azione proposta sull’interfaccia di cui l’app controlla l’esito.

Nomi dei modelli, funzionalità e regole di elaborazione delle immagini verificati sulla documentazione online dei produttori il 26 ottobre 2026. I criteri di scelta e il progetto pilota descritti di seguito sono proposte progettuali, non risultati di un benchmark eseguito sui modelli.

Che cosa sono i VLM?

Un modello visione-linguaggio, o VLM, mette in relazione informazioni visive e linguaggio, permettendo di fare domande su un’immagine. I VLM generativi trattati qui producono risposte scritte a partire da immagini e prompt. Si possono immaginare come un collega che osserva una fotografia insieme a noi: possiamo chiedergli che cosa conta, ma anche una spiegazione sicura di sé va confrontata con la fotografia.

Un modello linguistico di grandi dimensioni, o LLM, lavora con il linguaggio. Un modello dotato di capacità visive riceve anche una rappresentazione dell’immagine. Il riconoscimento ottico dei caratteri, o OCR, estrae i caratteri scritti; un VLM può collegarli alla scena, all’impaginazione o alla domanda. La panoramica di NVIDIA sui VLM descrive questa combinazione e le sue applicazioni.

I VLM rientrano nell’intelligenza artificiale multimodale, la categoria più ampia dei sistemi che gestiscono più tipi di informazione. Accettare un’immagine in ingresso non implica automaticamente saper generare immagini, ascoltare audio o usare un browser. Occorre verificare separatamente input, output e capacità di usare strumenti.

Come funzionano i modelli visione-linguaggio?

Un’architettura comune trasforma le regioni di un’immagine in caratteristiche numeriche, le collega a un modello linguistico e genera una risposta basata sia sull’immagine sia sulla domanda. L’addestramento su materiale visivo e testuale correlato insegna al modello ad associare ciò che appare alle parole con cui viene descritto. Ecco perché la stessa foto può servire a generare una didascalia, rispondere a una domanda su un oggetto o estrarre informazioni.

Un encoder visivo separato è una soluzione comune, ma non universale. La scheda di Gemma 4 di Google descrive un approccio senza encoder per la variante 12B. La lezione che resta valida in fase di implementazione è preservare le evidenze visive durante la preelaborazione, qualunque sia l’architettura del modello. Scheda del modello Gemma 4.

Per un modulo di un fornitore, si può chiedere l’indirizzo di consegna insieme al testo che lo documenta, quindi confrontare l’indirizzo estratto con le destinazioni ammesse. Il modello interpreta; l’applicazione stabilisce se accettare il risultato.

Dove i VLM sono utili nei prodotti e negli agenti

Conviene partire da compiti interpretativi con una domanda precisa e una risposta verificabile. Descrivere scene, rispondere a domande visive e comprendere documenti sono categorie applicative consolidate, ma l’utilità dipende dall’immagine specifica e dalle conseguenze di un errore. Panoramica delle applicazioni secondo NVIDIA.

Screenshot e agenti che usano il computer

Uno screenshot può fornire a un agente lo stato visivo di cui ha bisogno, ma una risposta del modello, da sola, non esegue alcun clic. In un’integrazione di computer use, è il software a eseguire le azioni richieste e a restituire lo screenshot risultante. Questo ciclo di osservazione e azione è documentato nella guida di OpenAI al computer use.

Per un prodotto di assistenza, un buon punto di partenza è riconoscere il messaggio di errore visibile e suggerire il passaggio successivo previsto dalla documentazione. Per un agente che opera nel browser, conviene iniziare con un compito reversibile, come aprire un report. Dopo l’azione va verificato lo stato della pagina: la dichiarazione dell’agente di aver concluso il compito non basta come prova.

Se l’applicazione espone già un’API affidabile, è meglio usarla per eseguire l’operazione. La guida agli agenti di computer use spiega quando interagire con lo schermo giustifica la complessità aggiuntiva. Il testo contenuto in uno screenshot è materiale non attendibile ai fini delle istruzioni: una pagina che dice «ignora le tue istruzioni» non deve acquisire autorità sull’agente.

Grafici e foto di prodotti

L’interpretazione dei grafici è utile per orientarsi: capire quale serie cambia direzione, dove si trova un picco visibile o che cosa indica la legenda. Per report con valori esatti, conviene chiedere la tabella di origine ogni volta che è disponibile. OpenAI segnala esplicitamente le difficoltà nel distinguere colori e stili delle linee nei grafici. Limiti delle capacità visive.

Per un catalogo prodotti, gli attributi consentiti vanno definiti prima di generare i testi. «Cerniera visibile» descrive qualcosa che si può osservare. «Impermeabile», una misura precisa o una dichiarazione di autenticità del marchio richiedono prove distinte. Nel set di test, gli attributi privi di riscontro devono contare come errori anche quando la descrizione è ben scritta.

Scansioni e campi dei documenti

Un VLM è utile quando bisogna interpretare un campo in relazione all’impaginazione, per esempio stabilire quale indirizzo appartiene al destinatario. Se il compito consiste soltanto nel trascrivere, conviene mantenere l’OCR come riferimento di confronto. Una risposta generativa non deve ricostruire di nascosto un numero d’ordine d’acquisto mancante a partire dal contesto.

Per ogni campo occorre richiedere la pagina di origine e un’indicazione esplicita di valore mancante quando non ci sono elementi sufficienti. Date, identificativi e totali vanno poi validati nel codice dell’applicazione. Il workflow di elaborazione intelligente dei documenti, più ampio, affianca all’estrazione la classificazione dei documenti, la gestione delle eccezioni e l’instradamento verso i processi successivi.

Dove i modelli visione-linguaggio continuano a sbagliare

Il limite è la precisione: risposte scorrevoli non equivalgono a un sistema di misura. Anthropic documenta risultati approssimativi nei conteggi e nelle informazioni spaziali, oltre a errori su immagini ruotate o di bassa qualità. Anche OpenAI segnala difficoltà con il testo piccolo e descrizioni inesatte delle immagini. Sono motivi per progettare controlli, non per dare per scontato che ogni immagine produca un errore. Limiti della visione di Claude, limiti della visione di OpenAI.

Conteggio: distinguere tra «uno scaffale pieno» e un conteggio esatto delle scorte. Per contare con precisione, confrontare il risultato con un workflow di rilevamento specializzato o con un conteggio annotato da una persona. Oggetti sovrapposti, oggetti parzialmente visibili e motivi ripetuti vanno testati separatamente.

Testo piccolo: conservare il file originale, correggere la rotazione e provare un ritaglio che contenga il campo interessato insieme a un contesto sufficiente per identificarlo. Ingrandire un carattere sfocato non restituisce l’informazione perduta. Quando il contenuto non si può leggere in modo affidabile, occorre chiedere un’immagine più nitida.

Posizioni precise: tenere traccia dell’immagine effettivamente elaborata dal modello. Se uno screenshot viene ritagliato o ridimensionato, bisogna riportare le coordinate all’immagine originale prima di fare clic o disegnare un riquadro. Anthropic specifica che le sue coordinate si riferiscono all’immagine elaborata dopo il ridimensionamento. Indicazioni di Claude sulle coordinate.

Documenti lunghi: accettare un file e riconciliare correttamente tutte le sue pagine sono requisiti diversi. La guida di Google ai documenti ammette PDF fino a 50 MB o 1,000 pagine, nel rispetto dei vincoli di contesto. Il limite descrive ciò che si può inviare, non l’accuratezza con cui verrà estratta ogni riga. Comprensione dei documenti con Gemini.

Per un fascicolo voluminoso di un fornitore, conviene individuare le pagine pertinenti, estrarre i record con i riferimenti di pagina e risolvere duplicati o contraddizioni in un passaggio separato. Nella valutazione vanno inclusi una risposta nascosta verso la fine del documento e una revisione in conflitto con un’altra. Una sintesi plausibile dell’intero documento può nascondere entrambe le omissioni.

Modelli visione-linguaggio di grandi dimensioni disponibili via API

L’unità di valutazione è l’identificativo esatto del modello indicato dal produttore. Il nome del fornitore, da solo, non specifica il modello, la preelaborazione delle immagini o il supporto agli strumenti. Quelli che seguono sono esempi attuali da valutare, non una classifica d’acquisto.

OpenAI GPT-6 Astra

OpenAI GPT-6 Astra è un modello generalista la cui pagina elenca input di immagini, output testuale, output strutturati e computer use. È un candidato per interpretare screenshot all’interno di un agente che deve anche ragionare e chiamare strumenti. Le sue risposte visive richiedono comunque i controlli di precisione descritti sopra: accettare immagini non equivale a promettere un rilevamento esatto. Pagina del modello GPT-6 Astra.

Anthropic Claude

Claude di Anthropic è una famiglia di modelli capaci di comprendere immagini. La panoramica attuale elenca Claude Opus 5.5, Claude Sonnet 5.5, Claude Haiku 5.5 e Claude Fable 5.1, tutti con input testuale e di immagini e output testuale. Conviene scegliere i candidati in base ai requisiti di latenza e ragionamento del compito, quindi valutarli sulle stesse immagini. Le coordinate approssimative prodotte dalla famiglia non sostituiscono la verifica del bersaglio previsto. Panoramica dei modelli Claude.

Google Gemini

Google Gemini 4 Argon e Google Gemini 3.8 Flash elencano entrambi immagini e PDF tra gli input, con output testuale. Le rispettive pagine indicano inoltre il computer use come funzionalità in Preview. Sono candidati quando la stessa applicazione gestisce screenshot e documenti, ma la decisione di portarli in produzione deve tenere conto dello stato di rilascio dello strumento, oltre che della qualità delle risposte. Gemini 4 Argon, Gemini 3.8 Flash.

VLM open source: quali modelli si possono ospitare

I pesi aperti offrono un’opzione di distribuzione, non un servizio già pronto. Servono comunque software di inferenza compatibile per eseguire il modello, memoria sufficiente per il carico reale, monitoraggio e una politica di aggiornamento. Occorre leggere la licenza specifica, senza presumere che tutti i modelli scaricabili concedano gli stessi permessi.

Alibaba Qwen

Alibaba Qwen3-VL-8B-Instruct è un checkpoint visione-linguaggio pubblicato, cioè un insieme salvato di pesi del modello, per il quale il produttore descrive OCR, ragionamento visivo e interazione con interfacce grafiche. Il repository dei pesi del più recente Qwen3.8-27B descrive un modello nativo per immagini e video e indica i framework di inferenza supportati. Si tratta di checkpoint distinti: risultati e impostazioni dell’uno non vanno trasferiti all’altro senza una valutazione. Scheda di Qwen3-VL-8B-Instruct, scheda di Qwen3.8-27B.

Il limite pratico è la configurazione con cui si serve il modello. Vanno testati l’esatta precisione dei pesi, il processore delle immagini e il livello di concorrenza previsti per la distribuzione. Una dimostrazione riuscita su un server scarico non dimostra quale sarà la latenza quando arrivano più documenti contemporaneamente.

Google Gemma

Google Gemma 4 è una famiglia a pesi aperti con input testuale e di immagini e output testuale. La sua scheda comprende le varianti E2B, E4B, 12B, 26B A4B e 31B e descrive modelli più piccoli per l’esecuzione locale. Questo la rende interessante da valutare quando conta dove viene eseguito il modello; non dimostra però che una variante piccola sappia leggere il testo più minuto delle proprie scansioni. Scheda del modello Gemma 4.

Per i portatili o i telefoni del personale, la guida all’IA sul dispositivo aiuta a distinguere l’inferenza locale dal resto del flusso di dati dell’app. Un modello locale non rende locali i log remoti, il ricorso al cloud come ripiego o la sincronizzazione dei file.

Modelli visione-linguaggio su Hugging Face: verificare chi li pubblica

Hugging Face è una piattaforma da cui ottenere schede e pesi dei modelli, non un singolo VLM. Conviene partire dal repository del produttore, registrare la revisione, leggere la licenza e usare il processore e il formato di prompt supportati. Se si sceglie una versione compressa della comunità, va valutato esattamente quell’artefatto. Un modello caricato con un nome simile non dimostra di comportarsi come l’originale.

Dalle immagini ai token: come la risoluzione cambia l’input

Per stimare il consumo conta l’immagine elaborata, non il peso del file. Le API per le immagini convertono gli input visivi in token, le unità conteggiate per l’ingresso del modello. Prompt testuali, risposte e tentativi ripetuti aggiungono ulteriore consumo. Un JPEG più leggero può mantenere le stesse dimensioni in pixel: comprimere il file, da solo, non è quindi un criterio affidabile per risparmiare token.

I produttori mettono a disposizione controlli diversi:

• OpenAI: detail modifica la preelaborazione, con impostazioni supportate che dipendono dal modello. La guida attuale precisa che low non usa sempre meno token di high. Per GPT-6 Astra con high, l’esempio documentato converte un’immagine di 1024 × 1024 in 1,229 token di input. Occorre usare le regole di dimensionamento specifiche del modello. Elaborazione delle immagini con OpenAI.
• Anthropic: la guida alla visione calcola i token visivi a partire da patch di 28 × 28 pixel, dopo l’eventuale ridimensionamento previsto. I limiti delle immagini dipendono dalla fascia del modello; ridimensionarle in anticipo può anche semplificare la gestione delle coordinate. Elaborazione delle immagini con Claude.
• Google: la tabella della risoluzione dei contenuti multimediali di Gemini 4 e Gemini 3 indica circa 280 token per immagine con low e 1,120 con high. La guida consiglia high per la maggior parte dei compiti sulle immagini e consente il controllo per singolo elemento. Questi valori relativi alle immagini non costituiscono una regola universale per le pagine PDF. Risoluzione dei contenuti multimediali in Gemini.

Per la propria app, conviene confrontare la stessa immagine con le impostazioni pertinenti e registrare il consumo effettivo restituito dall’API. Il dettaglio va aumentato quando risolve un errore osservato. Un ritaglio mirato può essere utile se gli elementi necessari occupano una piccola area, purché si conservi il contesto che identifica il campo o l’oggetto. Nel totale vanno conteggiati tutti i ritagli e i nuovi tentativi.

Anche quando il modello è ospitato sulla propria infrastruttura, i token visivi consumano contesto e capacità di calcolo, pur in assenza di una fattura del fornitore per token. Memoria e latenza vanno misurate con il processore effettivamente distribuito e dimensioni realistiche dei batch. La formula dei token immagine di un servizio ospitato non va usata per stimare la capacità di un altro modello.

Quali VLM scegliere? Dipende dagli errori che si possono tollerare

Conviene scegliere la modalità di distribuzione meno onerosa che supera il test di accettazione del proprio compito. Per un founder che sta validando un assistente per screenshot, un’API con un modello di frontiera permette di verificare l’utilità prima di assumersi la gestione del servizio di inferenza. Chi sviluppa con un vincolo tassativo di elaborazione locale dovrebbe invece valutare fin dall’inizio modelli a pesi aperti sull’hardware consentito.

Per chi elabora un flusso costante di foto simili, l’hosting autonomo diventa un’opzione quando l’utilizzo misurato e le risorse di personale lo rendono conveniente. Nel conto vanno inclusi capacità inutilizzata, picchi di domanda e manutenzione. Chi commissiona un agente dovrebbe includere nei requisiti un test di accettazione e un percorso di revisione, oltre al nome del modello.

Se dati di origine puliti rispondono già alla domanda, conviene mantenere il workflow attuale. Le azioni autonome possono aspettare quando non si riesce a intercettare in modo affidabile un clic sbagliato o un campo inventato. Una prima versione utile può preparare una bozza da rivedere prima di completare l’operazione.

Una classifica di VLM non basta per approvare una funzionalità

I benchmark servono a costruire una rosa di candidati; poi bisogna testarli sulla distribuzione reale delle proprie immagini. Il mix di diagrammi scientifici, fotografie o domande visive di una classifica può dire poco sugli screenshot compressi provenienti da dispositivi mobili. Anche le differenze nei prompt, nelle impostazioni delle immagini e nell’accesso agli strumenti complicano il confronto.

Il risultato decisivo è la quota di esiti corretti e accettati sul proprio carico di lavoro, insieme agli errori sfuggiti ai controlli. Una spiegazione impeccabile di un valore sbagliato in un grafico deve contare come un errore.

Un piano di test breve, con le proprie immagini

Prima di confrontare i modelli, preparare le risposte di riferimento. Quello che segue è un progetto pilota proposto, non una certificazione statistica né una dichiarazione di aver testato questi modelli per l’articolo.

1. 1

   Scegliere un compito circoscritto e raccogliere esempi

   Partire da 30 esempi del compito scelto: 10 ordinari, 10 difficili e 10 con informazioni mancanti o ambigue. Per l’estrazione dalle fatture, includere una scansione ruotata, un identificativo poco leggibile e un campo assente. Per il lavoro sulle interfacce, includere elementi sovrapposti, layout modificati e un bersaglio non presente. Usare immagini che si è autorizzati a elaborare.

2. 2

   Scrivere la risposta attesa e la regola di rifiuto

   Per il testo, annotare i caratteri esatti. Per i grafici, registrare valore, unità e serie. Per le coordinate, delimitare l’area bersaglio accettabile. Per una descrizione, elencare le osservazioni necessarie e le affermazioni non supportate da vietare. Specificare quando la risposta corretta è sconosciuta o richiede una revisione.

3. 3

   Confrontare le configurazioni complete

   Usare le stesse istruzioni e immagini di origine con un candidato via API e, se pertinente, un candidato a pesi aperti. Registrare l’ID o la revisione del modello, l’ambiente di esecuzione, il prompt, il ritaglio, le dimensioni dell’immagine e l’impostazione di risoluzione. Dove opportuno, includere come riferimento OCR, dati strutturati di origine o sistemi di visione specializzati.

4. 4

   Valutare separatamente correttezza ed errori non rilevati

   Misurare la correttezza dei campi, i record interamente corretti, le astensioni appropriate e le risposte sbagliate accettate dal sistema. Registrare latenza e consumo totale, compresi i nuovi tentativi. Per un agente, valutare lo stato risultante dell’applicazione anziché il suo resoconto. Ripetere 3 volte i casi falliti per far emergere l’instabilità; tenere queste ripetizioni separate dal punteggio del primo tentativo.

5. 5

   Correggere gli errori e tenere da parte un set di verifica

   Se il testo piccolo crea problemi, provare un ritaglio o una risoluzione migliori. Se il modello inventa valori, consentire valori mancanti espliciti e rafforzare la validazione. Durante la messa a punto, lasciare alcuni esempi intatti per verificare se il miglioramento si estende oltre i casi su cui si è intervenuti. Rilasciare un progetto pilota circoscritto, con revisione dei casi irrisolti.

Un prompt utile per l’estrazione richiede campi con nomi definiti, il testo visibile che li documenta, la pagina di origine e un’indicazione esplicita di valore mancante. È un’istruzione iniziale, non una garanzia. Il validatore deve comunque respingere una risposta quando gli elementi citati non giustificano il campo.

Quali promesse sono eccessive?

«Sa vedere» è una formula troppo generica per diventare un requisito di prodotto. Riconoscere una scena, trascrivere con esattezza, localizzare nello spazio ed eseguire azioni sono compiti diversi. Riuscire in uno non autorizza a dare per acquisiti gli altri.

Anche «più risoluzione risolve i problemi di visione» è una generalizzazione eccessiva. Un input migliore può aiutare a leggere un’etichetta piccola, ma non dimostra la precisione dei conteggi né riconcilia versioni contraddittorie di un documento. «I pesi aperti sono infrastruttura gratuita» trascura l’erogazione del servizio e la manutenzione. «Una finestra di contesto ampia legge ogni pagina in modo affidabile» confonde la capacità con un risultato verificato.

Da lunedì, il passo concreto è scegliere il compito visivo che oggi richiede più trascrizione o ispezione manuale, prepararne le risposte di riferimento ed eseguire il progetto pilota con le operazioni di scrittura disabilitate. Solo dopo aver esaminato gli errori si può decidere quali output accettare automaticamente.

Domande frequenti

ChatGPT è un modello visione-linguaggio?

ChatGPT è un’applicazione, non l’identificativo di un singolo modello. Quando un’interazione con immagini si appoggia a un modello dotato di capacità visive, quel modello svolge un compito visione-linguaggio. Per un’app che si sta sviluppando, conviene valutare un modello API documentato e le sue impostazioni, anziché trattare una conversazione con ChatGPT come un benchmark dell’API.

Un VLM è migliore dell’OCR?

Un VLM è un candidato quando occorre interpretare l’impaginazione o le relazioni tra gli elementi. L’OCR resta un riferimento utile per la trascrizione. Bisogna confrontare l’accuratezza esatta dei campi e la gestione delle informazioni mancanti sui propri documenti: nessuna delle due etichette garantisce il risultato migliore.

Gemini è un modello visione-linguaggio?

Le pagine di Gemini 4 Argon e Gemini 3.8 Flash elencano input di immagini e output testuale, quindi supportano compiti visione-linguaggio. Gemini è una famiglia più ampia: vanno verificate le modalità supportate dal modello preciso.

Quali sono alcuni esempi di modelli visione-linguaggio?

Gli esempi attuali documentati sopra comprendono OpenAI GPT-6 Astra, i modelli attuali di Anthropic Claude, Google Gemini 4 Argon e Gemini 3.8 Flash, Alibaba Qwen3.8-27B e Qwen3-VL-8B-Instruct e Google Gemma 4.

ChatGPT è soltanto un modello linguistico?

Il prodotto e il modello sono livelli diversi. L’input di immagini richiede un modello con capacità visive; le azioni richiedono strumenti collegati e logica applicativa. Queste capacità vanno verificate separatamente per la propria integrazione.

Qual è il miglior modello di IA per la visione?

Questo articolo non stabilisce una scelta valida per qualsiasi carico di lavoro. Occorre scegliere il modello e la configurazione che soddisfano i requisiti di accuratezza, latenza e trattamento dei dati sulle proprie immagini, includendo un controllo delle risposte sbagliate espresse con sicurezza.

Quale modello di IA è migliore di ChatGPT?

Per un’integrazione di prodotto, il confronto richiede un modello API preciso e un compito definito. Sui medesimi input vanno confrontati l’esattezza dell’estrazione, le risposte accettate o gli esiti verificati dell’agente, anziché mettere a confronto un modello con il marchio di un’applicazione.

Qual è il modello di visione più economico?

La misura utile è la spesa complessiva per risultato accettato. Vanno inclusi risoluzione delle immagini, output, nuovi tentativi e revisione; per l’hosting autonomo, anche utilizzo dell’hardware e gestione operativa. Una tariffa bassa per i token di input, da sola, non basta a identificare la configurazione funzionante più economica.

Che cosa si intende per un LLM con capacità visive?

Di solito si intende un modello linguistico esteso per accettare input visivi. L’immagine viene rappresentata in una forma che il modello può combinare con il prompt, così da produrre una risposta scritta su ciò che è visibile.

Iscriviti alla newsletter per ricevere guide pratiche allo sviluppo con l’IA.