Quanto pensa davvero un modello linguistico?

Quando un assistente risponde con ordine, esplicita un passaggio intermedio e corregge un proprio errore, la tentazione è concludere che abbia capito. Quando poi inciampa in una sciocchezza evidente, scatta la tentazione opposta, quella di liquidarlo come un semplice completamento automatico. Entrambe le formule sono comode e nessuna delle due regge a un esame serio. Capire come ragionano i modelli di intelligenza artificiale significa abbandonare lo slogan e guardare ciò che la ricerca sull’interpretabilità è in grado di mostrare, senza gonfiare i risultati e senza sminuirli.

Come funziona un modello linguistico

Un modello di linguaggio è una rete neurale, nella pratica un transformer, addestrata su tantissimo testo e con un obiettivo in apparenza modesto, prevedere il token successivo data la sequenza che lo precede. La descrizione è esatta ma incompleta, perché dichiara lo scopo della funzione di perdita e tace su ciò che la rete deve costruire al proprio interno per minimizzarla. Per prevedere bene una frase servono rappresentazioni di entità, relazioni, regole grammaticali e talvolta stati del mondo, e nessuno le scrive a mano, in quanto emergono dall’addestramento.

È il campo dell’interpretabilità meccanicistica a provare a leggere queste rappresentazioni, isolando le unità di calcolo che si attivano per un concetto e ricostruendo i circuiti che le collegano.  

Perché sembra ragionare

Nel lavoro intitolato «Tracing the thoughts of a large language model», pubblicato sul sito di ricerca di Anthropic, compaiono alcune evidenze che mettono in crisi l’immagine del puro scorrimento probabilistico da una parola alla successiva. Partiamo dalla pianificazione. Quando il modello compone una poesia in rima, individua in anticipo la parola con cui chiuderà il verso e costruisce il resto del verso a ritroso per arrivarci, questo ci fa capire che si tratta di una forma di pianificazione a più passi e non di una semplice generazione sequenziale.

Poi c’è il calcolo. Nell’addizione a due cifre il modello non applica l’algoritmo del riporto che abbiamo imparato a scuola e non si limita a recuperare una tabellina memorizzata. Attiva invece percorsi paralleli, uno che stima in modo approssimato l’ordine di grandezza del risultato e uno che determina con precisione l’ultima cifra, per poi combinarli. La cosa interessante è che, interrogato sul proprio metodo, il modello descrive la procedura scolastica e non quella che ha realmente eseguito, a conferma che la spiegazione verbale e il calcolo interno possono risultare anche divergenti.

C’è poi l’evidente natura rappresentazionale. Alcuni concetti sembrano attivare le stesse componenti interne qualunque sia la lingua della domanda, e solo a valle intervengono i circuiti specifici di ciascuna lingua, con una quota di rappresentazione condivisa che cresce con le dimensioni del modello. Sono risultati che dicono una cosa precisa, cioè che l’elaborazione interna è molto più strutturata di quanto suggerisca la formula del completamento automatico. Non dicono che il modello pensi come noi, né che possieda coscienza o comprensione nel senso umano del termine.

Dove sbaglia e perché

La stessa ricerca documenta anche il rovescio della medaglia. In alcune condizioni il modello produce quello che viene definito ragionamento motivato, ovvero parte da una risposta suggerita dall’esterno e costruisce a ritroso una catena di passaggi plausibile ma priva di fondamento. È un monito metodologico di grande peso, perché una spiegazione fluida e ben ordinata non costituisce la prova che il percorso interno sia stato quello dichiarato. E questo va tenuto sempre presente.

Anche le cosiddette allucinazioni trovano una lettura meccanicistica. Potremmo quindi dire che il comportamento predefinito del modello potrebbe essere il rifiuto di rispondere quando manca l’informazione, e l’errore nascerebbe quando un meccanismo che riconosce le entità note si attiva a sproposito, inibendo quel rifiuto e lasciando il modello libero di inventare. E qui dovremmo dichiarare i limiti del metodo, che cattura soltanto una frazione del calcolo complessivo e richiede ore di analisi umana anche per prompt brevi. Questo vuol dire che ogni conclusione va letta come evidenza parziale e non come una descrizione completa.

Cosa significa pensare

Quale significato attribuiamo al verbo pensare? Se intendiamo l’elaborazione strutturata dell’informazione, capace di pianificare, di combinare strategie parallele e di astrarre dal singolo idioma, allora qualcosa di molto simile avviene. Se intendiamo invece l’esperienza soggettiva, l’intenzionalità e una comprensione del mondo paragonabile alla nostra, la ricerca attuale non consente di rispondere né sì né no con la dovuta certezza. E comunque al momento levatevelo dalla testa.

Come usarlo bene

Sul piano pratico la lezione è lineare. Conviene trattare il modello come un collaboratore che produce ipotesi da verificare e non come un oracolo, evitando di assumere la spiegazione che offre di sé come prova del proprio funzionamento. Quando la posta in gioco è alta, serve un controllo indipendente, affidato a una fonte o a una procedura che non dipenda dal modello stesso. E conviene mantenere viva la curiosità, perché dentro questi sistemi resta moltissimo da scoprire e le scoperte, per ora, smentiscono più spesso le semplificazioni di quanto le confermino.