VPS: ricerca parallela nelle immagini ad alta risoluzione
VPS cambia l'ordine delle operazioni: prima raccoglie prove in parallelo da tutte le zone dell'immagine, poi decide dove ingrandire.
👁 115 letture
VPS (Visual Parallel Search) è un framework che analizza immagini ad alta risoluzione dividendole in riquadri esaminati in parallelo, prima di decidere dove ingrandire. Guadagna fino a 8 punti percentuali di accuratezza rispetto all’approccio sequenziale.
Il lavoro proviene da arXiv (cs.CV, cs.AI), presentato il 29 settembre 2026. Gli autori sono un team di otto persone: Xijia Tao, Yihua Teng, Xinyu Fu, Cheng Gong, Ziru Liu, Xudong Xie, Rui Liu e Lingpeng Kong.
Il problema dei modelli multimodali con immagini ad alta risoluzione
I modelli multimodali (quelli che comprendono simultaneamente testo e immagine) hanno difficoltà con le immagini ad alta risoluzione. Per rispondere a una domanda su un piccolo frammento ben localizzato di una foto, il modello deve prima scegliere dove guardare - e lo fa prima di aver visto l’insieme. Gli autori chiamano questo approccio “zoom sequenziale” e indicano che proprio quest’ordine di operazioni è la fonte degli errori.
Come funziona VPS
La soluzione si chiama VPS (Visual Parallel Search). Funziona in due fasi. Prima l’agente principale invoca la funzione grid_search, che divide l’immagine in riquadri e invia ciascuno a un sub-agente separato. I sub-agenti lavorano in parallelo e sono condizionati dalla domanda posta - cioè cercano una risposta specifica, non esplorano l’immagine alla cieca. Solo dopo aver raccolto i risultati di questa scansione parallela, l’agente principale può invocare la funzione zoom_in e ingrandire il frammento selezionato. Grazie a questo, la decisione di ingrandire si basa su dati reali, non su supposizioni.
Risultati sui benchmark
Gli autori confrontano VPS con l’approccio basato esclusivamente sullo zoom. Sullo stesso modello di base, VPS ottiene risultati migliori in 14 confronti su 15, con un guadagno massimo di 8,0 punti percentuali di accuratezza. Miglioramenti particolarmente significativi sono stati registrati per i modelli principali più piccoli. Sul benchmark ZoomBench, VPS mantiene un vantaggio di circa 3,2 punti indipendentemente dalla dimensione del modello testato.
Apprendimento dei ruoli: SFT e RL
Oltre al framework stesso, gli autori hanno sviluppato anche una pipeline per l’addestramento del modello. Include la verifica senza suggerimenti (hint-free verification) e una variante accoppiata e specifica per ruolo di GRPO come obiettivo di apprendimento per i due ruoli: controllore (agente principale) e lettore di riquadri (sub-agente).
Il fine-tuning supervisionato (SFT) migliora l’accuratezza su tutte e cinque le suddivisioni dei benchmark di test, inclusi 4,17 punti su HR-Bench 4K.
Il reinforcement learning (RL) modifica già il comportamento del modello in modo più complesso. L’RL addestrato solo sul ruolo dell’agente principale riduce l’uso medio degli strumenti da 2,65 a 2,11 con un risultato pass@1 simile nella valutazione interna su quattro risposte. Gli autori sottolineano tuttavia che i cambiamenti nell’accuratezza esterna sono misti. L’addestramento congiunto di entrambi i ruoli ha rivelato un’asimmetria tra la lettura delle prove locali e il controllo globale della ricerca - il documento non spiega questa asimmetria oltre questa affermazione.
Cosa manca nel documento
L’abstract non specifica su quali modelli di base concreti sono stati condotti gli esperimenti, né elenca i nomi di tutti i 15 confronti che compongono la presentazione dei risultati. I dettagli dell’architettura dei sub-agenti, i dati di addestramento e i costi computazionali non sono discussi nel frammento disponibile.
Google · Le tue fontiPiù in alto su Google con un solo clicAggiungi alle fonti preferite →Conclusioni
VPS è una proposta per cambiare l’ordine delle operazioni quando si lavora con immagini grandi - invece di indovinare e poi verificare, il modello prima raccoglie prove in parallelo e solo dopo decide. I numeri sono concreti e coerenti: 8 punti di guadagno massimo e stabili 3,2 punti su ZoomBench sono risultati difficili da ignorare. Preoccupante è la parte sul RL - gli autori stessi ammettono che l’accuratezza esterna dopo l’addestramento RL è “mista”, il che suggerisce che l’apprendimento del comportamento dell’agente in questo framework non è ancora perfezionato. Se VPS funziona effettivamente meglio per i modelli più piccoli, potrebbe essere un percorso interessante per applicazioni dove non c’è budget per modelli grandi ma c’è bisogno di analizzare immagini dettagliate - documenti, mappe, foto satellitari o mediche.
Fonte: arXiv cs.AI: Visual Parallel Search: Learning to Search High-Resolution Images with Parallel Tile Inspection and Adaptive Zoom (documento del 30-09-2026). Questa analisi si basa sul testo completo del documento, non su resoconti di altri media.
More on this from NITIDO
magazine·Waking Up: guida passo passo per il primo mese di meditazioneCome iniziare con l'app di meditazione di Sam Harris: corso introduttivo, piano pratico e consigli per non abbandonare dopo una settimana.