Il metaragionamento nei sistemi AI

Indice

• Il problemone dell’uguaglianza cognitiva
• L’Architettura a due velocità
• Il router metacognitivo
• Implementazione tecnica e trade-off
• Verso un’intelligenza artificiale frugale

L’entusiasmo iniziale per i modelli di Intelligenza Artificiale, in particolare per i grandi modelli linguistici, si è spesso concentrato sulla loro crescente capacità di ragionamento. Abbiamo assistito a modelli in grado di scomporre problemi complessi, di pensare passo dopo passo e di fornire spiegazioni articolate che imitano il ragionamento umano. Questa potenza però ha un prezzo. Ogni token generato, ogni passaggio di ragionamento intermedio, ha un costo computazionale, che si traduce in tempo di latenza, consumo energetico e spese operative. Da tutto ciò viene all’occhio una capacità molto importante e spesso trascurata, ma destinata a caratterizzare la prossima generazione di sistemi AI efficienti ed intelligenti, ovvero la capacità di metaragionamento. Ciò di cui parliamo è proprio quella facoltà di distinguere tra situazioni in cui un ragionamento approfondito è necessario e situazioni in cui sarebbe invece solo uno spreco di risorse. Questa non è solo un’ottimizzazione minore, ma un salto concettuale che affronta il collo di bottiglia più concreto per l’adozione dell’IA su larga scala, e cioè l’efficienza computazionale.

Il problemone dell’uguaglianza cognitiva

I modelli tradizionali, specialmente quelli specializzati in compiti specifici, operano in modo relativamente prevedibile. Certo, ne siamo a conoscenza. Un classificatore di spam ha un costo fisso per email, così come un modello di riconoscimento immagini ha una latenza costante. Con gli LLM generativi, il paradigma è molto diverso. La stessa architettura che può rispondere a “Com’è il meteo oggi a Posillipo?” con un singolo token, può anche essere chiamata a risolvere un problema di fisica quantistica. Se non si introduce un meccanismo di controllo, il modello impiegherà sempre la stessa quantità di risorse cognitive per ogni richiesta, a meno che non venga specificamente istruito a fare diversamente tramite il prompt.

Può capitare anche di chiedere quale sia la capitale della Francia,  e ottenere una catena di ragionamento di 500 token su Parigi e la sua storia, un dispendio inutile per una risposta veramente banale. In applicazioni in tempo reale come i chatbot di customer service, un ragionamento approfondito su una domanda di routine come l’orario di apertura introduce una latenza che frustra l’utente. E su larga scala, scalare un’applicazione che utilizza un LLM potente per ogni singola query, anche le più banali, porta a bollette cloud ingestibili.

L’Architettura a due velocità

La soluzione risiede nel fare riferimento ad una implementazione di un’architettura in cui un router intelligente valuti la richiesta in ingresso e decida il livello di sforzo cognitivo da applicare. Questo è il classico esempio di architettura eterogenea, che possiamo immaginare strutturata su più livelli. Al livello più basso, che potremmo chiamare livello riflesso, operano modelli piccoli e specializzati come BERT o T5-small, o database vettoriali con similarità semantica. Questo strato, caratterizzato da un costo bassissimo e una latenza di pochi millisecondi, è deputato a rispondere a domande fattuali semplici e di base. Non c’è un vero ragionamento, ma solo recupero e associazione statistica. È il livello ideale per domande come “Qual è il tuo nome?” o “Come posso resettare la mia password?”.

Il livello intermedio (o euristico), utilizza invece LLM di medie dimensioni, nell’ordine di 7-13 miliardi di parametri, istruiti per fornire risposte dirette senza catene di ragionamento complesse. Con un costo contenuto e una latenza di pochi secondi, questo strato è perfetto per domande che richiedono un po’ di conoscenza, ma non una pianificazione articolata, come riassumere un paragrafo di un dato argomento.

Al vertice della piramide troviamo il livello di ragionamento profondo, affidato a LLM di grandi dimensioni, potenziati da tecniche di prompting come Chain-of-Thought, Tree-of-Thoughts e la capacità di utilizzare strumenti esterni. Il costo è alto e la latenza può superare i dieci secondi, ma è l’unico livello in grado di affrontare problemi complessi che richiedano pianificazione, matematica avanzata, analisi di codice e sintesi di documenti multipli. È la scelta obbligata per richieste come scrivere un plugin in Python per un software CAD o anche analizzare pro e contro di strategie di marketing basate su dati complessi.

Il router metacognitivo

La cosa un po’ più complessa ma principale è quella di riuscire a progettare il router che decide a quale livello instradare la richiesta. Questo router stesso deve essere efficiente, altrimenti diventa il nuovo collo di bottiglia. Sono diverse le strategie che possono essere impiegate, ciascuna con i propri vantaggi.

Una possibilità è utilizzare un classificatore di intento, ovvero un modello piccolo e veloce come una rete neurale convoluzionale su embedding di frasi, addestrato per classificare la richiesta in categorie di complessità. Questa metodica richiede però un dataset etichettato di domande con il corrispondente livello di sforzo necessario. In alternativa, si possono impiegare euristiche basate su soglie, valutando la lunghezza della query, la presenza di parole chiave come “spiega nel dettaglio”, ma anche la stessa complessità sintattica della frase. Un’altra strada è calcolare l’embedding della query e misurarne la distanza da centroidi di domande semplici e complesse in uno spazio vettoriale. Si può anche utilizzare un LLM molto piccolo e veloce per porsi la domanda se la richiesta richieda un ragionamento complesso o una risposta semplice, una forma di chain-of-thought compressa che deve però essere ottimizzata per risultare più veloce del modello di ragionamento stesso.

Implementazione tecnica e trade-off

L’implementazione di un sistema come questo richiede la gestione di diversi aspetti non tanto semplici. Un primo punto è la coerenza della conversazione. Se la prima domanda di un utente viene gestita dal livello riflesso e la seconda dal livello di ragionamento profondo, il modello di livello superiore deve ereditare il contesto della conversazione precedente. Questo richiede un sistema di gestione della memoria centralizzato che passi la cronologia della chat al motore successivo, rendendo la transizione trasparente per l’utente.

Il router però può commettere errori. In caso di falso negativo, quando una domanda complessa viene inviata al modello semplice che darà una risposta inadeguata, è necessario implementare un ciclo di feedback. Se il modello semplice non è sicuro della sua risposta, mostrando bassa probabilità nei token generati, la richiesta può essere reindirizzata al livello superiore. Nel caso opposto di falso positivo, quando una domanda semplice finisce al modello complesso sprecando risorse, bisogna allora ottimizzare continuamente il router con nuovi dati, monitorando le richieste e riaddestrando il classificatore quando necessario.

Il router stesso deve essere estremamente veloce. Se impiegano 500 millisecondi per decidere che una domanda semplice può ricevere risposta in 100 millisecondi, l’overhead diventa inaccettabile. L’obiettivo è che il routing avvenga in meno di 50 millisecondi, il che favorisce l’uso di modelli tiny e di logiche euristiche pure. La metrica di successo non è solo il costo, ma un bilanciamento tra costo e qualità della risposta. Un buon sistema è quello che riesce a rispondere correttamente alle domande semplici al minimo costo e a quelle complesse con un costo maggiore, ma comunque inferiore a quello che si sarebbe speso se tutte le domande fossero andate al livello complesso.

Verso un’intelligenza artificiale frugale

La capacità di distinguere quando pensare e quando agire si presenta come un’evoluzione cruciale. Stiamo passando da modelli che sono intelligenti in senso assoluto a sistemi che sono intelligenti nell’allocazione delle risorse cognitive. È un’abilità che richiama il Sistema 1 e Sistema 2 di Daniel Kahneman, un pensiero veloce, intuitivo e automatico, e uno lento, deliberativo e analitico.

I sistemi AI del futuro non saranno giudicati solo per la loro accuratezza, ma anche per la loro efficienza cognitiva. Sviluppare architetture a più livelli, router metacognitivi robusti e strategie di fallback fluide non è solo un esercizio di ottimizzazione, ma la chiave per un’adozione sostenibile, economica e su larga scala dell’IA, rendendola uno strumento onnipresente e utile tanto per le domande banali quanto per i problemi più complessi dell’umanità.