NITIDO_
Stato dell'IA

LayerRoute: come i robot scelgono i layer del modello

nitido@ai:~$ cat news_1

› I modelli VLA (Vision-Language-Action) sono sistemi di controllo per robot che uniscono modelli multimodali visione-linguaggio (VLM) preaddestrati a un modulo deputato a generare movimenti fisici concreti.

nitido@ai:~$ cat news_2

› Il problema che i ricercatori intendono risolvere riguarda la struttura interna di questi modelli: i diversi layer di un VLM memorizzano tipologie di informazioni eterogenee, spaziando dalla geometria visiva locale fino alla semantica astratta legata al linguaggio naturale.

nitido@ai:~$ cat news_3

› Finora, le architetture VLA collegavano ciascun livello del modulo d'azione a un layer fisso del VLM, senza alcuna flessibilità di selezione.

nitido@ai:~$ cat news_4

› Parallelamente, le rappresentazioni intermedie elaborate dal modulo d'azione venivano trasmesse solo in modo implicito, attraverso i cosiddetti residual streams, impedendo un esplicito riutilizzo dei dati.Cosa propone LayerRouteLa soluzione ideata dagli autori si chiama LayerRoute e si articola in due componenti chiave.

nitido@ai:~$ open --full
Leggi tutto

LayerRoute: come i robot scelgono i layer del modello

Apri l'articolo su nitidezza.it