L’ho sostenuto fin da subito (2019), quando ancora gli LLM erano poco più che esperimenti da laboratorio: «giocare» con un LLM di per sé è come stimolare l’area di Broca isolata dal resto del cervello. L’area di Broca è una nota regione cerebrale fondamentale per la produzione del linguaggio.
Le primissime versioni di ChatGPT erano modelli neurali che, stimolati con un prompt, rispondevano maldestramente con testo. Mancava l’infrastruttura intorno. Ma procediamo per gradi.
Un Large Language Model costituisce proprio ciò che l’approccio classico all’Intelligenza Artificiale – basato su regole rigide – non permetteva da solo: errare.
Altrove scrivevo che «errare» bisogna intenderlo nel suo etimo – gironzolare – piuttosto che semplicemente ridurlo al lessema «sbagliare». Questo perché un LLM è una Rete Neurale Artificiale (complicata e molto grande) e, come tale, è progettata per apprendere induttivamente da grandi basi di dati schemi e astrazioni ad alto contenuto semantico.
L’avverbio «induttivamente» non è a caso. In altri contesti si dice che tali modelli vengono addestrati per apprendere una «capacità di generalizzazione», che è una quantità misurabile.
Certamente un modello può «sbagliare» (oggi diremmo «allucinare»), ma deve poterlo fare per esplorare zone del suo dominio di conoscenza limitrofe a quelle dei dati appresi.
In altre parole, l’intrinseca erranza è proprio quella modalità per cui un moderno modello di linguaggio non è solo capace di rigurgitare un concetto usando forme testuali esattamente identiche a quelle presenti nei dati di addestramento, bensì può rielaborare composizionalmente tali strutture producendo sequenze di parole, diciamo anche plausibili, non presenti nei dati di addestramento che pur rispecchiano un concetto a noi familiare. Tecnicamente possiamo parlare, almeno in parte, di «interpolazione».
Ciò accade perché un LLM apprende «autonomamente» schemi astratti dai dati, come se fossero regole e meta-regole che il progettista non ha inserito in maniera diretta.
Avvertivo già da tempo che ridurre scientificamente la spiegazione del funzionamento di un LLM ad un sistema stocastico che impara a predire la parola successiva può portare fuori strada.
Certamente la funzione obiettivo con cui viene addestrato (pre-training) un moderno LLM autoregressivo è «indovina la parola successiva». Ma questa è la funzione obiettivo, cioè un pezzo della storia completa.
L’altro pezzo è la struttura dell’architettura neurale che costituisce un LLM, che è progettata in modo da poter apprendere una gerarchia di schemi astratti, regole e meta-regole, soggiacenti ad una sequenza di segni (parole).
Per schemi astratti, regole o meta-regole, si intendono strutture morfosintattiche, grammaticali, stilistiche, contenutistiche, ma anche molto più astratte. Schemi a cui non abbiamo dato ancora un nome, se non nei casi specifici attraverso neologismi tecnici legati al tema di ricerca noto come «IA spiegabile».
Non possiamo glissare questo punto, poiché per comprendere la portata di ciò che sta accadendo in seno all’IA una cosa è possedere l’immagine mentale che l’«interpolazione» è tra parole, un’altra è immaginarla tra regole o schemi astratti.
Buttarla solo sulla statistica è altrettanto riduttivo. Certamente c’è della statistica ma c’è anche qualcos’altro che i modelli statistici classici non potevano modellare. È dai primi del Novecento che si tenta di modellare probabilisticamente il linguaggio stimando la probabilità della parola successiva date le parole precedenti, ma il metodo aveva delle limitazioni enormi (vedi Shannon), che qui non posso spiegare per ovvi motivi di spazio*. Accenno solo al fatto che i limiti erano intrisencia al metodo, sebbene le prestazioni di oggi siano dovute anche alla disponibilità di hardware computazionale estremamente potente.
Alessandro Vaglia
